浙江是国民党统治的腹心地区，反动势力强大，大部分地区党的组织被破坏，也没有革命根据地和游击区作依托。面对这种形势，粟裕及时总结北上抗日先遣队失败的教训，决心把正规军变为游击队，不打正规战而打游击战，来一个决定性的转变。1935年4月28日，粟裕率挺进师转战到浙闽边的斋郎，以500余人的兵力打垮敌人2个保安团2200余人和近千人的地主武装的分进合击，敌团长李秀被击伤。这是挺进师的一个关键性的胜仗，完成了进军以来的第一个作战任务，打开了进入浙西南开辟游击根据地的通道。
挺进师进入浙西南地区后，粟裕把武装斗争与根据地建设紧密结合起来，自觉地运用井冈山时期毛泽东的领导方法，分兵以发动群众，集中以打击敌人，要求每个干部战士都学会两套本领：打游击，做群众工作。在很短时间内，一个崭新的革命根据地的雏形便在浙西南出现了。1935年5月至9月中旬，粟裕指挥挺进师粉碎了由国民党浙江省主席黄绍⒊！亲自指挥的8、9个保安团的“进剿”，使浙西南游击根据地扩大到江山、浦城、龙泉、遂昌、松阳5个县，纵横百余里。挺进师已发展到近千人，扩编为5个纵队和2个独立支队，另有地方武装千余人，还建立了后方基地。
1935年9月下旬，在蒋介石的直接部署和其嫡系第十八军军长罗卓英统一指挥下，敌人集中了正规军32个团近7万人的兵力，连同地主武装号称40个团，对挺进师发动了第一次“围剿”。粟裕决定以游击战的战略战术来粉碎敌人的“围剿”，实行“敌进我进”的方针，留下少数部队就地坚持斗争，主力部队跳出包围圈，以积极的作战行动吸引、调动敌人，同敌人周旋于浙闽边界，并开辟和建立新的游击根据地。1935年10月5日，粟裕、刘英率领的挺进师在寿宁县境与闽东特委胜利会师，成立中共闽浙边临时省委和闽浙边临时军区，粟裕任省军区司令员、省委组织部长。此后，粟裕率部机动作战，以掩护省委开展工作，支援浙西南地区的斗争。到1936年6月，终于粉碎了敌人的第一次“围剿”，迎来了第二个发展时期。1936年底，挺进师再次由几百人发展到1500余人，地方游击队和群众武装达数千人，活动范围扩大到温州、台州、处州、金华、衢州、绍兴等地区所属的30余个县境。
在这一时期，粟裕率领挺进师创建了多类型多层次的适合游击战争特点的游击根据地。其中，既有便于主力部队坚持敌后的相对稳定的较大块游击根据地，又有如众星拱月式的能够“落脚”的一些小块游击根据地和大量的分散的游击基点；既有公开的，也有秘密的，甚至还有“白皮红心”式的两面政权，使整个游击区形成几种类型的结合。粟裕还适时调整了政策，以抗日、反蒋为前提，扩大团结对象，缩小打击目标，为游击根据地和游击基点的建立创造了重要条件。由于条件的改善，粟裕率部队频频向浙赣线南侧出击，有时甚至打到武义汤恩伯家乡，打到青田高市村陈诚的老家，而且还逼近了蒋介石的老家奉化溪口。
1936年冬，西安事变的发生迫使蒋介石接受了停止反共内战的条件。但浙江国民党军又调集6个主力师、2个独立旅及地方保安团共43个团，对挺进师进行第二次“围剿”。针对敌人的“大拉网”战术，粟裕采取与敌人相向对进、易地而战的打法。这个时期是三年游击战争中作战最为频繁的时期，也是粟裕运用游击战术比较成熟的时期。他以毛泽东在井冈山时期总结的十六字诀为指导，结合当地革命斗争实际，总结了一整套游击战术的原则和方法。经过半年的艰苦、频繁的战斗，他指挥挺进师再次粉碎了敌人的“围剿”。1937年9月，中共闽浙边临时省委同国民党浙江当局达成合作抗日协议，挺进师分散于浙南各地的游击队先后集中到浙江平阳北港山门街，共500余人，正式改编为“国民革命军浙闽边抗日游击总队”，从而结束了艰难曲折的浙南三年游击战争。
三、苏中抗日1938年3月，根据中共中央指示，“抗日游击总队”开赴皖南参加新四军的行列，部队被编为新四军第二支队第四团第三营，粟裕任第二支队副司令员。
4月28日，粟裕率新四军先遣支队(由第一、二、三支队抽集4个连队编成)，从安徽歙县岩寺出发，向苏南敌后挺进，执行战略侦察任务。6月17日，在镇江西南的韦岗伏击日军，毙伤日军土井少佐以下官兵数十名，击毁汽车4辆，缴获一批弹药和军需物资。韦岗战斗是江南新四军对日军的首次作战，一举取得完全胜利，打破了日军不可战胜的神话，极大地鼓舞了江南人民的抗日热情。粟裕曾赋诗一首，抒发韦岗告捷的心情：“新编新四军，先遣出江南。韦岗斩土井，处女奏凯还。”
陈毅也为韦岗首捷作七绝诗一首，祝贺此战的胜利：“故国旌旗到江南，终夜惊呼敌胆寒，镇江城下初遭遇，脱手斩得小楼兰。”
7月，新四军第二支队抵达江南，在小丹阳与粟裕会合。粟裕指挥第二支队连打10余仗，多次粉碎日伪军的“扫荡”，并袭击了南京的麒麟门和雨花台的敌人，威震江南。1939年11月，新四军第一、二支队领导机关合并，成立新四军江南指挥部，陈毅、粟裕分任正副指挥。陈、粟先后派出新四军挺进纵队和苏皖支队北渡长江，在苏北开展游击战争，造成新四军足跨长江两岸，随时可以发展苏北的有利态势。
1940年7月，为执行中共中央5月4日的《放手发展抗日力量，抵抗反共顽固派的进攻》的重要指示，粟裕奉命率新四军江南指挥部及其所属主力北渡长江，挺进苏北，执行开辟苏北、发展华中抗日战争的战略任务。7月下旬，遵照中共中央指示，将进入江北的江南指挥部改为江北指挥部，仍以陈、粟分任正副指挥。所属部队整编为3个纵队9个团，共7000余人。在陈毅的领导下，粟裕在作战指挥上，把同顽固派争夺中间派的策略思想运用于军事，把政治仗与军事仗结合起来打，迅速取得了攻占黄桥、姜堰等战斗的胜利，积极推进了以黄桥为中心的根据地建设。10月，国民党顽固派江苏省主席兼苏鲁战区副总指挥韩德勤，调集26个团共3万余兵力南下，妄图一举歼灭新四军苏北部队于黄桥地区。粟裕在陈毅领导下，指挥部队于黄桥迎敌。
黄桥决战，是新四军在苏北进行的一场前所未有的大战。敌重兵压境，新四军苏北部队全部人员仅7000余人，其中战斗人员不过5000余人。从发展苏北的任务来看，这一仗必须打歼灭战。但从当时的形势来看，新四军不仅在战略上，而且在战役战斗上也要以少胜多。要克敌制胜，除了全体指战员以一当十的军政素质，指挥员还需要发挥灵活机动的指挥艺术。经过反复思考，粟裕决定采取以黄桥为轴心、诱敌深入各个击破的作战方针。在粟裕的指挥下，新四军出奇兵，首战韩德勤的一支战斗力最强的部队翁达旅，采取“黄鼠狼吃蛇”的办法，多路向其突击，将它断成几段，然后各个包围，并首先歼其首脑机关。经3小时战斗全歼该旅，中将旅长翁达自杀。接着，战场重点转到黄桥城下及其以东地区。在新四军三纵坚守黄桥的同时，一、二纵迅速穿插，完成了对已经进入黄桥以东地区的顽军李守维第八十九军的合围。经一夜激战，歼灭顽军第三十三师主力，全歼敌第八十九军军部及第三四九旅。黄桥决战的胜利，实现了新四军与南下八路军的会师，胜利完成了开辟苏北的战略任务。
陈毅曾赋诗庆贺黄桥决战胜利后的大好形势：十年征战几人回，又见同侪并马归。江淮河汉今谁属？红旗十月满天飞。
皖南事变发生后，1941年1月20日，中共中央军委立即决定重建新四军军部，并将华中部队统一整编为7个师。新四军苏北指挥部所属部队编为第一师，粟裕被任命为新四军第一师师长(后兼政委)兼苏中军区司令员(后兼政委)。为迅速建成新四军新的领导机关，原苏北指挥部即作为新四军军部的部分基础，留给一师师部的人员，连同粟裕在内官兵共24人。粟裕于1月7日赴东台二里桥组建一师师部。行前，陈毅特地来到粟裕的住房，关切地问：“怎么样，人太少了吧？”粟裕当即爽快地答道：“好男不吃分家饭嘛！军长放心，哪里有群众，有敌人，哪里就有我们的发展。”
粟裕此次单独去苏中，深感肩上担子的分量很重。苏中位于长江以北、京杭大运河以东，北起斗龙港，东临黄海，面积约2.3万多平方公里，人口800多万。它以其重要的地理位置、经济状况、战略作用，成为日本侵略军、以蒋介石为代表的国民党顽军和中共领导的新四军三方必争之地。1941年2月，中共中央曾指示，苏鲁战区是华中的一个基本根据地，应把这个地方看做是向西、向南，出鄂豫陕边和向闽浙赣边发展的策源地，“好像汉高祖的关中”。粟裕在认真研究中央关于苏中战略任务的一系列指示和抗日战争战略方针的基础上，明确提出了领导苏中抗日斗争全过程的指导思想，即：不仅应求得军事斗争的胜利，而且应把苏中建成基本根据地(不是游击根据地或游击区)；军事斗争应成为根据地建设的支柱，并且为下一步夺取整个民主革命的胜利，作好必要的准备。
面对极其复杂的苏中形势和艰巨的任务，粟裕认为，首先要以积极的作战行动打击、顿挫敌伪的进攻，从而坚定干部、群众的抗日信心，尔后不失时机地将工作重心由城镇转向农村，作战对象由顽军转向日军，作战方法由运动战转向游击战，并以游击战为中心，实行组织形式、领导方法、工作作风等各方面的转变。苏中的这一战略转变是同对敌作战结合进行的。1941年2月上旬，国民党苏鲁皖游击副总指挥李长江在泰州公开投敌。新四军于2月18日发起讨逆战役。粟裕指挥部队分三路出击，19日即连克姜堰、石家岱、苏陈庄，20日攻克泰州。三天作战，歼叛军5000余人，并接受2团叛军反正。4月10日，粟裕在角斜旧场召开干部大会，作了由正规战向游击战转变的报告。4月中旬，为掩护苏中根据地的建设，策应北线新四军第三师收复被顽军韩德勤侵占的蒋营的作战行动，粟裕发动了对日军的攻势作战。在姚家岱战斗中，击毙日军泰兴城防司令以下20余人，生俘日军2名。在兴化水田地、梓辛河伏击战中，击沉日军汽艇1艘，歼敌1个小队，生俘日军2名。7月，日军集中兵力“扫荡”北线新四军军部所在地盐城，粟裕从全局出发，指挥部队在南线主动发动攻势，连续袭击或攻克十几个敌伪据点，歼日伪军2100余人，从而策应了第三师和盐阜区的反“扫荡”。
从此，苏中区成为华中日军进攻的重点。在敌情严重的形势下，粟裕为把苏中区建成基本根据地，对苏中全区作了有纵深、有层次的战略布局，确定对于根据地的基本区域和重要基点，采取各种有效战法，坚决与敌人争夺，使其久占企图不能得逞，以保证基本区域的相对稳定。1941年8月13日，日伪军集中1万余人对苏中区进行全面“扫荡”。粟裕领导全区军民与日伪军连续作战42昼夜，战斗130余次，毙伤日伪军1300余人，活捉日军14人，伪军800余人，粉碎了敌人的“扫荡”。自1941年8月至1942年春，粟裕指挥部队以三仓镇为中心同日军展开了激烈的争夺战，7次争夺三仓镇，5次争夺丰利。与此同时，全区主力部队、地方武装和广大民兵，向日伪薄弱据点出击，这些战斗为长期坚持苏中抗日根据地奠定了基础，由此开始了苏中抗日根据地的全面建设时期。
1942年6月，日伪军开始对苏中地区进行长达半年之久的分区“清剿”，企图寻歼新四军地方和主力部队。粟裕针对敌人分进合击、多路合围的新特点，以地方武装配合民兵就地坚持，主力部队实行外线作战，积极打击敌人，粉碎了日军的“清剿”计划。1942年9月，中共中央决定实行党政军领导一元化，粟裕兼任苏中区党委书记。1942年日伪军对苏中根据地的“扫荡”，四五百人的小“扫荡”平均每周1次，千人以上的较大“扫荡”平均每半个月1次。苏中区党政军民在粟裕的领导下，连续粉碎了敌人频繁的“扫荡”和残酷的“清剿”，坚持和巩固了苏中抗日根据地。
1943年4月，华中日伪军集中兵力，采取先军事后政治及军事政治相结合的手段，以苏中四分区为重点进行“清乡”。“清乡”区内，日军开路，伪军跟进，多路出击，进行“梳篦”、“拉网”式的反复“扫荡”。“清乡”区周围，敌人构筑了长达200多公里的封锁线。日军华中派遣军司令⒊"骏六，汪伪江苏省省长李士群，亲临南通指挥。粟裕领导和指挥苏中四分区党政军民，指挥新四军一师打了一场总体的人民战争，粉碎了敌人长达六个月的“军事清乡”、“政治清乡”和“高度清乡”，作战2100余次，毙伤日伪军2700余人，争取伪军1700余人投诚反正。
苏中抗日斗争形势的转折，是从著名的车桥战役开始的。1944年3月，粟裕经过较长时间的酝酿和精心组织，指挥苏中新四军集中5个团的兵力，以游击战和运动战相结合的战役形态，在车桥地区对日军进行了一场攻势作战，歼灭日军山泽大佐以下460余人，其中生浮山本一三中尉以下24人，歼伪军500余人。粟裕还率部乘胜攻克日伪据点12处，使淮安、宝应以东纵横百里地区全部解放。新华社向全国播发了新四军收复车桥的消息，赞扬这是“以雄厚兵力”打的一个“大歼灭战”。
1944年12月，为迎接即将到来的抗日战争的战略反攻，中共中央重申发展东南的方针，决定由粟裕率新四军一师主力一部南渡长江，执行南进任务。1945年1月中旬，粟裕率南下部队在长兴地区与第十六旅会合。根据中央军委指示，苏浙军区成立，粟裕任司令员兼政委。所属部队整编为4个纵队，12个支队(团)。