白晋战役结束后，聂荣臻率晋察冀军区挺进支队北返。行前，彭德怀、左权在八路军总部设便宴为聂荣臻送行。刘伯承、邓小平、李达、陈赓、陈锡联等出席作陪。由于大家对日军“只要交通有保障，灭亡中国绝对不成问题”的话印象很深，因此在席间谈起华北战局，特别是晋察冀和晋冀鲁豫两大战略区的配合作战时，自然想到了交通问题。认为横亘在两区间的正太铁路线，是日军控制山西、河北两省的交通命脉，横贯太行山区，把巍巍太行劈为两半，是阻隔两区联系的重大障碍。要是能切断这条铁路，既可使日军在山西省的运输补给失去保障，又有利于两大区在军事、经济等方面的相互支持和帮助。于是，不少人认为，应在适当时机对正太铁路进行大规模的破袭。
此时，日军积极准备实行南进政策，在正面战场集结兵力，扬言向重庆、昆明、西安发动进攻，企图用军事压力和政治诱降的双重手段，促使国民党投降，以便抽出兵力加入太平洋作战。1940年6月15日，日军攻占湖北省宜昌市，占据了进入四川省的咽喉，接着又大举轰炸当时国民党政府所在地重庆市，并秘密向蒋介石展开“和谈”活动。还利用已投降日军的汪精卫集团在国民党阵营内部进行宣传和策反。国民党在这种形势面前更加动摇，妥协投降的危险空前严重。
蒋介石指示胡宗南、阎锡山、朱怀冰、石友三等部队掀起的第一次反共高潮被粉碎后，国民党顽固派大肆造谣，胡说什么“八路军游而不击”、“专打友军，不打日本”等等，使一些不明真相的人，对共产党、八路军产生了怀疑。
山西省日军守备正太铁路线的一部分兵力，被调往华中地区，其警备力量有所削弱。
综合这些情况，八路军前方总指挥彭德怀和参谋长左权研究决定：为了争取华北战局更有利的发展，并影响全国的抗战局势，克服国民党的投降妥协危险，有必要向华北敌占交通线和据点，发动一次大规模的进攻战役。主要目标定在正太铁路线。
1940年7月22日，朱德、彭德怀、左权给聂荣臻、贺龙、关向应、刘伯承、邓小平等人发出了大举破击正太铁路的预备命令。命令指出：“敌寇依据几条交通要道，不断向我内地扩大占领地区，增多据点，封锁与拦截我各个抗日根据地之联系，特别是对于晋东南，以实现其‘囚笼政策’，这种形势日益严重。又迭据各方情报，敌寇有于8月间进犯西安的企图。为打击敌之‘囚笼政策’，打破进犯西安之企图，争取华北战局更有利的发展，决定趁目前青纱帐与雨季时节，敌对晋察冀、晋西北及晋东南‘扫荡’较为缓和，正太沿线较为空虚的有利时机，大举破击正太路。”八路军总部的命令，除令第一二九师和晋察冀军区部队共同实施破击正太铁路线外，同时命令在平汉、同蒲、白晋、平绥、津浦、北宁等铁路沿线的部队配合行动。
在部队“注意休养体力，加强军事教育”等准备工作进行了约一个月后，8月18日晚，刘伯承、邓小平在太行山的和顺县石拐镇第一二九师前方指挥所召开作战会议，向参战部队布置作战任务。
8月20日晚8时，夜幕降临不久，正太铁路破击战役打响了。随着一道道划破夜空的红色信号弹醒目的闪光，各路破击部队以神速的动作扑向正太铁路沿线的车站和据点。在同一时刻，同蒲、白晋、平汉、津浦、北宁等铁路线和许多公路干线上都燃起了战火，日军的华北交通线陷入全面被攻击之中。八路军参战部队先后达到了100多个团，所以，以后就把这一战役称为“百团大战”。
在此之前，陈赓根据命令，于8月14日率领第三八六旅的第七七二团、第十六团和决死一纵队的第二十五团、第三十八团，由沁源县地区出发，越过白晋铁路的敌人封锁线，东进太行山区，经5个昼夜的急行军，冒着滂沱大雨，到达正太铁路上的寿阳县城以南50里处秘密集结。
按师部决定，这一战役由陈赓、陈锡联指挥，下分3个纵队：中央纵队（总预备队）以第三八五旅主力及第七七二团组成，归陈赓直接掌握；右纵队以第十旅主力第二十八团和第三十团组成，由范子侠、赖际发指挥；左纵队为第十六团、第二十五团、第三十八团组成，由周希汉指挥。这个由太岳区部队组成的左纵队，担任寿阳县和榆次县之间铁路破击任务。
刘伯承指出：“断敌交通在其他战争中重要，在抗日游击战争中尤其重要，切断了这条大动脉，敌人就会呼吸不畅，血液不通，行动不便，所以对正太铁路破坏越彻底，我们就越主动。”他还说：“大家一定要遵守统一的时间，密切协同配合。要讲究战术，不能啃核桃，而要一个一个地砸核桃，彻底破坏正太路！”他说着并举起右拳向桌子砸去。
邓小平也指示说：“这次参战的地方武装和民兵、群众很多，要派得力干部去组织带领，注意保证他们的安全。对部队还要进一步作深入的动员，任务要交待得很清楚才行。”
周希汉出发前，陈赓也有叮嘱：“千万记住师长和政委讲的，既要指挥好作战，又要把政治思想工作做好。”
正太铁路的守军是片山独立第四混成旅团，有5个步兵大队，附有骑兵、工兵、辎重兵、通信兵等，分布于东至娘子关、西至寿阳县与榆次县之间的段廷车站。
根据上级指示，八路军各团作了周密部署，8月20日20时30分，对敌发起猛攻，左纵队的第十六团攻打芦家庄，第二十五团攻击马首车站，第三十八团攻击和尚足据点和上湖车站。马首车站攻克后，盘踞在翼家垣之敌，绕道龙化山，企图偷袭驻在大洛坡的第二十五团指挥所，团长苏鲁立即指挥第八连反击偷袭之敌，短兵相接，白刃格斗，拼杀40余分钟，将敌大部歼灭，敌带队的小队长被击毙，保障了团部及破路民工的安全。战后受到刘伯承、邓小平的表扬和奖励，八路军总部授予了“白刃格斗英雄连”锦旗。
芦家庄有日军一个中队和伪军20余人，是兵力较多火力较强的据点。战斗发起时，第十六团一举突入村内，连续攻占了车站外围的4个碉堡，将守敌大部消灭。残敌向西溃逃，遭到第十六团预伏部队的迎击，敌复向东窜，又与第十六团攻击车站的部队遭遇，敌见无法逃出，则占领高屋死守。第十六团组织强攻，因无重武器，未能攻下，次日拂晓，第十六团实行火攻，引爆了高屋附近的火药库，一时乒乓乱响，弹药乱飞，火光冲天，高屋倒塌，日军全部被消灭。
为了保障破路部队和群众的安全，陈赓直接指挥中央纵队的第七七二团强袭平定县城西南敌人冶西村据点。22日，两个连进攻未成功。25日，陈赓亲临前线指挥，下午4时，第七七二团第一营附平射炮和迫击炮各一门，再次向冶西村之敌发动进攻。第二连迅速通过铁丝网，冲到外壕，受到敌人火力阻拦；第三连绕到敌左翼，破坏铁丝网前进，据守城壕的日军拼命抵抗，该连以集束手榴弹投掷到敌人工事内，给敌人以重大杀伤；此时第二连也跨过外壕逼近堡垒，除残敌10余名逃向平定县城方向外，其余全被歼灭。
这一系列的胜利战斗，大大振奋了参战群众、敌占区人民和铁路员工，他们势如潮涌地扑向铁路，同部队一起开展了破路活动：挖路基、翻铁轨、炸桥梁、毁隧道、割电线、烧枕木，将车站、水塔、信号设置等建筑物完全摧毁。群众架起一堆堆枕木放火焚烧，铁轨被人们运回根据地制造农具和武器，拿不走的被扔到火堆上，烧得变了形。那破路场面非常壮观：白天烟雾弥漫，夜晚火焰腾飞，沿路人山人海，锤击声、呐喊声、笑声、歌声汇成一曲人民战争的英雄交响乐。这样经过了12个昼夜的紧张战斗，正太铁路完全从地面上消失了。
日军开始被打懵了，吓得目瞪口呆。过后从榆次、寿阳、阳泉、和顺、辽县等地抽调七八千人，分兵5路，从背后迂回，企图以安丰、马坊为中心合击八路军指挥部和部队。
太岳军区部队掩护破路群众转移。9月2日6时许，在卷峪沟、窑儿里、上葫芦把地区，与敌人遭遇，前进道路被敌人拦阻。部队部署尚未就绪，3000敌人已在两架飞机掩护下，向太岳军区部队阵地发起猛攻。部队准备转移时，遇见第一二九师直属队的一个伤员，他说师部医院尚在卷峪沟，很多伤员还来不及转移。为了掩护他们，决死队的第三十八团立即主动占领东大角阵地，第三八六旅第十六团占领羊儿岭等处阵地坚守。不料敌人飞机发现了卷峪沟一带有向南撤退的八路军及破路群众数万人的情况，因此，日军集中兵力，在飞机和猛烈炮火掩护下，猛攻第十六团的1547高地，终因敌众我寡，火力悬殊，阵地被敌占领。部队被迫转移到卷峪沟、窑儿里之间的1670高地，在不利的形势下，准备转移时，突然接到师首长派警卫营长来传达的口头命令，说中共中央北方局、八路军总部、第一二九师直属队、第三八五旅炮兵部队及医院，都在卷峪沟，要求太岳军区部队不惜一切代价，夺回窑儿里阵地，以掩护首脑机关及群众转移。
接到命令后，第三十八团团长蔡爱卿和政委刘有光，急忙率领第二、第三营速返窑儿里，配合第十六团，决心夺回窑儿里阵地。蔡团长命令部队跑步前进，给敌人迎头痛击。坚守在红岩阵地的第一营也主动出击，攻击窑儿里右翼。刹那间，阵地上刀光闪闪，杀声阵阵。战士们的刺刀都染上鲜血。敌人狗急跳墙，施放毒气。一些人倒下了，中毒轻的仍坚持战斗。经过13次反复争夺，终于夺回了窑儿里三个山头主阵地。此后，敌2000余人数次发动攻击，都被击退。直到首脑机关及兄弟部队安全转移，第三十八团才奉命撤出战斗。此役从9月2日6时30分打响，到21时30分结束，激战15小时，该团以伤亡300余人，中毒数百人的代价，毙伤敌人600余人，胜利完成了掩护北方局、总部和师机关安全转移的任务。战后，北方局书记杨尚昆、八路军野战政治部主任罗瑞卿等，亲临太岳部队进行慰问，盛赞部队的英勇顽强。
决死一纵队第二十五团和第三十八团，是抗日战争开始时由一支知识分子队伍发展起来的，政治素质高，但缺乏作战经验，更缺乏打大仗、打硬仗的锻炼。太岳军区成立后，陈赓和薄一波把决死队知识分子干部和第三八六旅老红军干部进行交流调整，又经过陈赓在军事方面的教育和训练，能在非常不利的形势下，配合兄弟部队抢夺敌人的主阵地，到手后再打阵地防御战，打出这样的仗是很不容易的。经过百团大战烈火的熔炼，这两个团终于成为陈赓部队的主力。
9月5日，太谷县日军第三十六师团永野大队500多人，向榆社县双峰镇进犯。师部命令陈赓指挥太岳军区的4个团，在双峰地区夹击敌人。4时40分，第七七二团和第二十五团奉命由交口出发，进抵双峰镇以北以东高地。战斗发起后，第七七二团即夺取了尖疙瘩一线，第二十五团攻占了双峰镇，然后迂回到镇子东南方高地堵击敌人。这时敌人一部抢占了柳树沟、太平庄、小岩坡一线高地固守，另一部被压在河沟内。
这种仗最难打，同长乐村战斗相似，事先并没有很好的准备，双方又都在运动中，情况瞬息万变，掌握不好，决策不及时、不准确，就要出差错。此时陈赓的心情是很焦急的，部队连日作战，减员很大，也很疲劳，怎样打赢这一仗呢？徐向前总是号召部队：要“坚持最后5分钟”，强调部队要有韧性。陈赓也常讲：“我们的军队已有了高度的政治上的纯洁，忠实于党，忠实于阶级，勇敢的为党为主义死难，是不成问题的。我们今天的问题是如何提高战斗力，增强其顽强性。”这一仗要争取主动，避免被动，就必须不顾疲劳顽强作战。他督促第十六团和第三十八团于6日下午1时赶到，对敌形成包围。下午4时，陈赓发出总攻令，4个团勇猛冲杀，打到7日拂晓，毙伤敌永野大队长以下400余人。
至此，历时18天的百团大战第一阶段胜利结束。毛泽东在延安致电彭德怀说：“百团大战真是令人兴奋，像这样的战斗是否还可组织一两次？”