国共合作抗日后，叶挺出任新四军军长，率领新四军奔赴抗日前线，在反对日军“扫荡”及国民党顽固派磨擦的斗争中，予敌人以坚决打击，成就了一支新的“铁军”。
1937年7月卢沟桥事变发生后，在中国共产党的一再努力下，第二次国共合作得以实现。中共中央在《中国共产党为公布国共合作宣言》中，提出了将红军改编为国民革命军、奔赴抗日前线的主张。8月18日，蒋介石同意在陕北的红军主力改编为八路军。淞沪战事爆发后，国民党统治中心地区南京、上海、杭州及长江下游形势不断恶化，中共中央又向国民党当局提出了统一整编南方各省红军游击队，开赴华中参加抗战的建议。10月2日，国共双方就此问题进行谈判并达成协议，将南方八省红军游击队统编成为一支抗日部队。双方共同商定请叶挺出任这支改编后的队伍的领导工作。后经叶挺建议，这支队伍定名为“国民革命军新编第四军”，意在继承老四军的优良传统。
1937年叶挺就任新四军军长。1937年11月，叶挺到延安向中共中央请示抗日工作。毛泽东在延安中央党校召开的欢迎大会上致词说：“我们今天为什么欢迎叶挺将军呢？因为他是大革命时代的北伐名将，因为他愿意担任我们的新四军军长，因为他赞成我党的抗日民族统一战线的政策，所以我们欢迎他。”叶挺致答词说：“同志们欢迎我，实在不敢当。革命好比爬山，许多同志不怕山高，不怕路难，一直向上走，我有一段是爬到半山腰又折回去了，现在又跟上来。今后一定遵照党所指示的道路走，在党和毛泽东的领导下，坚决抗战到底。”叶挺在延安期间看到革命圣地同仇敌忾的抗日景象，深受感染，他以饱满的革命热情和十足的信心回到武汉，转赴南昌，筹备成立新四军军部。叶挺出任新四军军长，是为了尽自己的一份力量，为拯救国家民族做贡献。叶挺说过，他明知道有许多困难，但为了国内团结与抗战，他接受了这个职务，大家都为了打日本，救中国，谁也不曾存过拿多少钱抗多少战的念头。
叶挺到任后，不负党的重托。他在同国民党当局商谈新四军的编制、人事、经费、部队集中地点等重大问题的过程中，坚持维护党对新四军的绝对领导，挫败国民党的阴谋限制。11月21日，叶挺在叶剑英陪同下，与蒋介石商谈新四军的组建事宜。商谈中，叶挺提出了半个多月前他在延安同毛泽东等中共领导人商定的组建方案，并向蒋介石提出请发新四军开拔费和整理费18万元。叶挺提出的组建方案令蒋介石大为不快，新四军的各级领导人都由共产党方面派遣，国民党方面一个也沾不上边，部分军队集中后还要留在江南。蒋介石坚持按枪的多少决定编制，不能先委任师、旅长。叶挺据理力争：“将他们开到前方打日本才是主要问题，其他人事问题，容易解决。”但蒋介石认为红军游击队改编以后，不会离开江南。叶挺进一步晓以大义：改编这些游击队，可以增加抗日的力量，否则对地方亦不好。蒋介石则威胁说：“如扰乱地方便是破坏抗战，我要剿的，你们决不能在东南。”接着，蒋介石又指着在座的叶剑英对叶挺说：“他们都是共产党，你不是共产党，将来你有性命危险。”叶挺见这些问题都谈不成，当即要求辞职。蒋介石见叶挺态度坚决，自知理亏，也软了下来，表示具体问题可以找陈诚商量解决。
叶挺同蒋介石的这次交锋，挫败了蒋介石企图在新四军中安插亲信、将部队调离江南、以及缩减新四军编制的企图，从而使新四军取得了合法的编制和地位，也为确保党对新四军的绝对领导及党在南方坚持和开展抗日斗争创造了前提。后经叶挺及党的有关人员与国民党方面的多次协商，双方达成了一个折中方案：将新四军编为四个游击支队，支队相当于旅，这与叶挺原先提出的四个旅的方案基本上是一致的；国民党不再坚持派人到新四军任职，各级主官均由中共方面委任；关于部队集中地点，国民党也不再坚持开赴陕西的要求，决定第一、二、三支队留在江南抗战，以皖南屯溪为集中地，属第三战区管辖，江北地区由鄂豫皖边区红二十八军等改编的第四支队开赴皖中敌后抗战，受第五战区管辖；经费问题在后来也得到部分解决。仅从新四军的组建上来说，叶挺的贡献也是不可低估的。
在经费问题上，蒋介石百般掣肘，所提供的数目远不能满足实际需要。为了解决部队军费等方面的困难，新四军除派出一些干部到南洋各地筹款外，叶挺还利用各种关系多方奔走，千方百计地为新四军筹措军费、武器、弹药及医药用品等物资，他曾专程到香港发动爱国人士及国际友人为新四军捐赠物资。宋庆龄热情地对叶挺说：“你们需要什么，就要什么，尽量多带些回去。”国际友人史沫特莱向新四军捐助了大批药品、被服等物品，并亲自押送到新四军军部。何香凝将自己的绘画拿去义卖，将所得款项购买了一批电讯器材和医药用品支援新四军。叶挺自己亦将为岳父保存的养老金，也全部捐献了出来。
叶挺这样呕心沥血为抗战事业而操劳，实在令人敬佩。郭沫若在新四军筹备处居住时，特意书写了一副“三军可以夺帅，匹夫不可夺志”的对联赠给叶挺，以表达对叶挺这种坚韧不拔的革命精神的敬意。
新四军成立之初，面临着把分散在南方8省14块地区各游击队，在较短的时间内集中起来的困难，叶挺一面同国民党当局商谈集中开进时间、行军路线和输送办法，一面同项英副军长、张云逸参谋长等新四军领导人筹划有关人员分赴各游击区传达党中央关于集中改编的指示。1938年2月上旬，叶挺根据国共谈判协议，命令闽西、闽北、闽东、浙南、皖浙赣、赣粤边、湘赣边、湘鄂赣等边区的红军游击队向皖南歙县的岩寺集中，鄂豫皖及鄂豫边游击队向皖中舒城地区集中。各游击队遵照命令，于2月10日起相继出发。
部队开进期间，一些地方的顽固势力蓄意制造事端，无故寻隙挑衅，叶挺以军长的身份及时向有关方面提出抗议，并给予闹事的地方势力以坚决打击。他还亲自出面与国民党地方当局联系，在一些地区设立了新四军留守处、通讯处等后方办事机构，妥善地解决了红军游击队开进后的善后问题。在新四军领导人的积极努力下，2月下旬到4月中旬，新四军各路部队先后到达各自指定地区，实现了具有历史意义的战略转移。随后，叶挺抓紧时机，对部队进行政治、军事、纪律等方面的整训，为东进敌后抗战作准备。
短短几个月时间，叶挺凭着一往无前的毅力和满腔的爱国热忱，以非凡的组织指挥才能，同项英、张云逸、陈毅、张鼎丞、周子昆等人一道，在毫无基础的条件下，胜利完成了将南方红军游击队改编成新四军的光荣使命，组建了一支新的“铁军”。尽管当时人数不多，武器欠缺，但在叶挺等人的领导和指挥下，它在抗日斗争的烽火中越战越强，终于发展壮大，成为华中地区坚持抗击日本侵略的主力军。
新四军在敌后的抗日活动搅得日军惊恐不安，日军于是把矛头对准新四军，频繁发动进攻。国民党顽固派对新四军的壮大也深为不安，经常制造反共磨擦事件。日顽甚至互相勾结起来，向我进攻，以达到消灭新四军的罪恶目的。在叶挺指挥下，新四军粉碎了日军一次又一次的“扫荡”，同时寻机主动出击，沉重打击敌人。1940年4月间，日军为了巩固长江的交通线，扩大伪化区，调集了第十五、十七、一一六师团各一部共1万余人，向我皖南南陵、繁昌一带进行了空前规模的“扫荡”，我部坚决执行叶挺军长的命令，奋起抗击进犯敌人，激战10余天，歼敌900余人，粉碎了日军的“扫荡”。
9月上旬，日寇又集中了1万余兵力，对我皖南地区进行第二次大规模“扫荡”，其中5000人经铜陵、繁昌、南陵等地直插云岭，企图包围我新四军军部。叶挺在指挥中表现出他一贯的治军严格的作风，命令部队：“从本人起至每个士兵，哪一个退出阵地就将受到枪毙处罚。”全体指战员在军长的激励下，抱着与皖南根据地共存亡的战斗决心，奋勇抗击日本侵略者，取得了第二次反“扫荡”的胜利。
作为军长的叶挺，在领导新四军进行的艰苦卓绝地民族解放斗争事业中，作出了卓越的贡献，赢得了党内外人士的赞誉。毛泽东称赞他“领导抗敌，卓着勋劳”，一些外国进步人士也称赞他“是中华民族的英雄”。
皖南事变前，叶挺抵制项英独断专行的家长制领导作风。皖南事变发生后，叶挺只身前往敌营谈判，不幸被扣，身陷囹圄。日本投降后，获释。他出狱后的第一件事就是申请重新入党，中共中央很快批准了他的请求。
1940年下半年，国际形势发生了重大变化，日本已作出向太平洋英、美军队进攻的准备，遂极力拉拢蒋介石以暂时缓和中日关系。国民党顽固派在日本的诱降下，又一次挑起了反共高潮。10月19日，何应钦、白崇禧致电朱德总司令、彭德怀副总司令和新四军军长叶挺(即何白皓电)，诬蔑在敌后坚持抗战的八路军、新四军“不遵令”，“非法越轨”，限令于一个月内从长江南北撤到黄河以北。
党对国民党顽固派的反共企图坚决予以回击。11月9日，共产党方面以朱德、彭德怀、叶挺、项英名义，复电何、白(即佳电)，电文中列举了抗战以来我军坚持敌后抗日，打击日本侵略者，收复失地的大量事实，指出国民党顽固派对我八路军、新四军的指责纯属造谣诬蔑，抗日是假，反共才是真。同时，为了顾全大局，团结抗日，佳电中也表示作出一些让步，愿将皖南新四军部队撤往江北。
由于新四军军部局促于皖南泾县云岭地区，这个地区地形狭窄，两侧都是国民党防区，后面则是国民党的大后方，驻有大量国民党军队，对我形成包围监视之势，不利于我军的发展。从实际利益出发，党中央也早已有过将新四军军部和皖南新四军主力向北转移的指示。该电发出后，党中央便命叶挺、项英他们迅速率部北移，叶挺衷心拥护党中央的正确主张，他以叶挺、项英名义致电毛泽东、朱德，表示要将大批工作人员疏散到封锁线以外，并将部分资财经苏南运至苏北以迷惑对方，再突然将部队由现地区渡过长江，转移到皖北。
但是，叶挺的工作却遭到了项英的干扰和压制。项英到新四军工作以来，对叶挺不够信任，连党中央的一些重要指示，也不向叶挺传达，给叶挺的工作增加了许多麻烦。对此，周恩来曾经严厉批评过项英。更严重的是，在北进问题上项英却热衷执行王明右倾的错误方针，对国民党顽固派抱有幻想，他单方面强调皖南的特殊性，不作发展，不作斗争，对党中央所作北移指示，一直拖延着，拒不执行，以至耽误了部队北移的时机。
1939年，叶挺与周恩来(左)、陈诚(中)合影。12月24日，党中央又明确命令叶、项：“必须准备于12月底全部开动完毕，希夷率一部分须立即出发。”但是项英仍然犹豫不决，不下决定。为此，中央致电严厉批评项英：“你们在困难面前屡次来电请示方针，但中央远在一年前即将方针给了你们，即向北发展，向敌后发展，你们却始终借故不执行”，“全国没有任何一个地方有你们这样迟疑犹豫无办法无决心的”，“如果动摇犹豫，自己无办法，无决心，则在敌顽夹击下，你们是很危险的。”
