1934年10月，中央苏区红军主力长征后，留下一部分红军部队由项英、陈毅等领导，在极其艰难困苦的条件下，坚持游击战争。到抗日战争爆发前夕，建立了14个游击队和游击区。
抗日战争开始后，1937年8月1日，中共中央发出《关于南方各游击区域工作的指示》，指示各游击区要根据抗日民族统一战线政策，“配合当地实际情况，灵活的全面的改变自己的一切工作”。“较大的红色部队可与国民党的附近驻军或地方政权进行谈判，改变番号与编制以及取得合法地位，但必须严防对方瓦解与消灭我们的阴谋诡计与包围袭击”；“末与国民党政府及当地驻军确实谈判好以前，则我们一切武装部队，可以自动改变番号，用抗日义勇军抗日游击队名义，根据党的新政策，进行独立的活动”。据此，在项英、陈毅的领导下，赣粤边红军游击队遂改名为赣南人民抗日义勇军。8月8日，中共赣粤边特委发表宣言，呼吁团结，要求与国民党政府合作抗日，得到国民党大余县县长彭育英的响应。9月8日，陈毅赴大余县池江谈判，达成初步协议。11日，陈毅在彭育英陪同下抵达赣州，与国民党江西省政府和第4区专署代表及第四十六师谈判，达成协议：红军游击队在9月底以前，在大余县池江附近集中点编，改名抗日义勇军，一切经费给养由省政府发给等。9月底，项英赴南昌，与省政府主席熊式辉谈判，双方商定：国民党军队从游击区撤退；红军游击队编为抗日义勇军。南昌会谈后，9月29日，项英未经中央同意，擅自以中共中央分局名义发表了《告南方游击队公开信》，要游击队“接信后立即集中，听候点编”。10月1日，在大余召集各地游击队负责人会议，传达谈判情况。会后并派人分赴各地传达国共合作和下山改编等指示。对此，中共中央十分不安，即致电在南京的博占和叶剑英，指出“把各区游击队完全集中，对于我们是十分不刊的”，“项英同志似还不明白统一战线中保持独立性原则，似还更不明白不应无条件集中而应保持南方战略支点的原则。他在南昌的作法带有危险性。望速通知他来延安讨论”。2日，张闻天、毛泽东又急电博古、叶剑英；“速电项英到南京，告以对策。到宁后并令其来中央讨论。南方游击队万不宜集中，项在江西的敝法上了国民党的当”。11日，博古据此致信项英、陈毅，传达了中共中央3点“最低限度”的指示，并派专人送达：一、队伍可以改变番号，但不允许国民党派人进来，要保持军队的独立性及党的绝对领导；二、要求与国民党军队同等待遇，三、各地队伍不集中，不脱离根据地。接着项英到南京，11月7日转赴延安。
在中共赣粤边特委与国民党江西省政府达成合作抗日协议的影响下，广东省政府主席吴铁城于10月13日发出训令，要求各地停止“清剿”。除赣粤两省外，尚有鄂豫皖边红二十八军与国民党豫鄂皖剿共督办公署和皖省政府代表谈判，达成红军游击队改编为鄂豫皖工农抗日联军的协议，闽西红军游击队与国民党第一五七师和闽省第六行署的谈判。决定把当地红军游击队改编为闽西人民抗日义勇军第一支队，湘鄂赣边红军游击队与国民党武汉行营和第五十师代表的谈判，当地红军游击队改编为抗日游击第一支队，闽东红军游击队与国民党福建省政府代表谈判，达成红军游击队改编为国民革命军福建抗日游击队第二支队，等等。其中，有因警惕性不高，而发生上国民党当的情况。
4月16日，闽粤边红军游击队领导人何鸣，将闽南红三团集中在漳浦县点编，千余人在毫无戒备的情况下，被国民党一五七师包围缴械，何鸣被捕。后经中共中央一再交涉，何应钦才于10月下旬被迫同意放还人枪。9月，湘鄂赣边红军游击队在谈判中，同意让国民党派来副官主任、军需主任，丧失了原则立场，中共中央觉察后，特派董必武赴武汉。重开谈判才予以否认。
在南方红军游击队同国民党地方当局及驻军谈判的同时，中共中央代表周恩来、董必武、叶剑英等亦就南方红军游击队改编问题同国民党中央代表进行谈判。7月下旬，当周恩来在上海会见由澳门回国请缨杀敌的名将叶挺时，考虑到蒋介石有可能接受叶挺出任游击队的领导，即提请叶挺出面改编游击队，获得叶挺欣然同意。9月28日，蒋介石任命叶挺为新编第四军军长。10月2日，国共两党达成将在江西、福建、广东、湖南、湖北、河南、浙江、安徽等8省13个地区（琼崖除外）红军游击队，改编为国民革命军陆军新编第四军。中共中央特邀叶挺赴延安商量建军事宜。11月3日，叶挺抵达延安，受到热烈欢迎。叶挺表示“愿在党的组织外，但愿在党的领导下进行工作”。11月12日，叶挺返回武汉，奔波于武汉南京间，筹组建军事项。为加强党对新四军的领导，12月14日中共中央决定成立中共中央东南分局（后改称东南局）和中共中央军委新四军分会，由项英任分局书记兼军分会书记，陈毅任军分会副书记。
12月25日，新四军军部在汉口正式成立。1938年1月初，国民政府军事委员会正式核准新四军编制、经费及配备。同时照委了中共提出的新四军军部组成及各支队首长名单。1月6日。新四军军部移至南昌，军长叶挺，副军长项英，参谋长张云逸，副参谋长周子昆，政治部主任袁国平，政治部副主任邓子恢，下辖4个支队，第一支队司令员陈毅，副司令员傅秋涛，共2300人，第二支队司令员张鼎丞，副司令员粟裕，共1.800人，第三支队司令员张云逸（兼），副司令员谭震林，共2100人，第四支队，司令员葛敬亭，共3100人，军部特务营等直属队共900余人。全军共1万余人，归属第三战区。
2月，新四军各支队开始向皖南、皖中集中，直至4月，第一、二、三支队先后到达皖南歙县岩寺地区集中，第四支队到达皖中舒城地区集中。4月4日，军部离开南昌，5日，进入皖南岩寺。
这时，日华中派遣军为配合华北方面军进行徐州会战，正沿津浦路北犯，江南敌后兵力薄弱，正是游击战争在平原水网地区大显身手的好时机。2月15日，毛泽东致电项英，提出“目前最有利于发展的地区，还在江苏境内的茅山山脉，即以溧阳，溧水地区为中心，向着南京、镇江、丹阳、金坛、宜兴、广德线上之敌作战，必能建立根据地，扩大新四军基地”。在中央的一再敦促下，4月下旬，新四军军部才从第一、二、三支队抽调少量干部和侦察连，组成先遣支队，在粟裕率领下开赴苏南敌后，作战略侦察。5月4日，毛泽东再次致电项英，明确指示“在敌后进行游击战争虽有困难，敌情方面虽较严重，但只要有广大群众活动地区，充分注意指挥的机动灵活，也会能够克服这种困难，这是河北及山东方面的游击战争已经证明了的”。电报还指出“在侦察部队出去若干天之后，主力就可准备跟进，在广德、苏州、镇江、南京、芜湖5区之间广大地区创造根据地”，“在茅山根据地大体建立起来之后，还应准备分兵一部进入苏州、镇江、吴淞三角地区去，再分一部分渡江进入江心地区”。5月14日，中共中央书记处致电东南局及项英，再次明确指出，“新四军正应利用目前有利时机，主动的积极的深入到敌人后方去”，“在大江南北创立一些模范的游击根据地，以建立新四军的威信，扩大新四军的影响”。5月中旬，在陈毅率领下，第一支队东进苏南敌后，以主力在茅山山脉及深水一带，天王寺以南的山地建立根据地，而以小部队向句容、溧水、南京之线游击。6月17H，先遣支队和第一支队第二团首战卫岗获胜，击毁敌汽车4辆，毙敌少佐以下官兵27人，打开了东进的局面。7月，第二支队在张鼎丞率领下进入苏南，以主力活动于当涂以东小丹阳西侧山地建立根据地，以一部兵力在芜湖、当涂以东至丹阳间的河网地区活动。作为策应，第三支队在张云逸、谭震林率领下，进抵皖南抗日前线。第四支队继续东进，开展皖中敌后游击战争。
从此新四军活跃于大江南北，开始了创建华中抗日根据地。
