1948年初，解放战争进入了第三个年头。为了执行党中央的战略决策，刘、邓率领晋冀鲁豫野战军主力，进入外线作战。徐向前和薄一波、滕代远等首长留在后方战场指挥内线作战。当时，晋南是全国重点战场之一，而整个晋南只有临汾一座孤城为敌人所盘踞。敌人坚守这个孤城，是为了牵制解放军对西北战场的支援。这样，"夺取临汾，不仅可使晋南全获解放，而且可使晋冀鲁豫和晋绥、吕梁解放区联成一片，并为下一步北上晋中，解放太原，全歼阎胡守敌，解放华北扫清障碍。"当徐向前说出这番话的时候，他面临的是一个相当艰巨的任务。
临汾素有"卧牛城"之称，为历史上著名的军事重镇。这座古城，筑在汾河东岸一片冲积而成的黄土高原上，城外地势比城内低，黄土垒砌的城墙，粘结得非常坚固，基部最厚处有30余米，墙面如牛背，倾斜向上，高达14米，顶上有10米宽，可并行3辆大车。从远处看，整座城宛似伏在汾河边上的一头黄牛。
据当地人说，临汾城在历史上没有被攻破过，连闯王李自成也没有降伏得了这头"卧牛"，气得把盔甲挂在城外一棵树上，上马而去。于是后人就把那挂盔甲的村庄，称为"挂甲屯"。多年来，在日寇和阎锡山的苦心经营下，修筑了大量坚固工事，城周围明暗碉堡林立，还设置了多层外壕、铁丝网、鹿砦等防御设施。在城外，敌人依托村庄、高地、碉堡、壕沟，组成四道环线防线。城里和城外暗道相通，直至防御前沿。正因如此，阎锡山把临汾视为攻不破的"铜墙铁壁"。
从部队的实际情况来说，野战军主力南征后，留在内线的多为地方部队，是由各分区的独立营、县大队、游击队等地方武装为基础建立的。兵员不充足，新战士较多，装备差，尤其缺乏重火器。由于部队的成分多为地方武装，也就带来了作风上很大的散漫性和游击习气。
但是，徐向前并没有被困难所吓倒，他向来有一股打硬仗的气概，他更多地看到的是我军的优良作风和高昂的士气和敌人的虚弱之处。他在给中央军委的报告中表示："临汾敌兵力虽多，但蒋阎军内部矛盾甚深，派系复杂，指挥不统一，战斗力一般不强，我攻下运城后，均极恐慌，且城大不利防守，只要我们准备周密，攻克不成问题。"他在营以上干部动员大会上指出：在人民解放军面前，没有什么不可攻破的"铜墙铁壁"。阎锡山一贯是"乌龟战术"，胆小如鼠，轻易不敢伸头，估计不敢在解放军围攻临汾时，派兵南援，但仍要做好围城打援的准备，要把"老鼠"当做"老虎"打。把弱敌当作强敌打，把强的敌人，当作更强的敌人打。
在困难面前，徐向前既有一种压倒一切困难的气概，又十分讲究战术的运用。
2月底，徐向前即定下战役决心，并作出战役部署：吕梁部队控制河西之敌，八纵队位于城南，十三纵队位于城东，太岳部队位于城北，以向心合围态势，首先扫清外围警戒阵地，拔除护城据点，攻克东关，尔后进攻主城。在战术上采取三面围攻的打法，力争将敌主力歼灭于外围阵地。
战役行动计划从3月10日开始。这时，前线指挥所破译出胡宗南给临汾守敌第三十旅旅长尹瀛州的紧急电报，中央军委也发来同样内容的紧急通报，得知胡宗南为挽救其在西北战场的失败，不顾临汾之垂危，急于空运其第三十旅到西安，增兵洛川。
为策应西北战场作战，牵制临汾守敌，徐向前果断命令八纵队在3月7日凌晨前必须拿下光庙机场。当时八纵队正在行军途中，不便联系。为争取时间，徐向前派作战参谋速乘刘、邓调给他的专用吉普车送去命令，而他自己却带病登上了十轮卡车。八纵队接到命令后，立即加快行军速度，提前到达预定位置，以突然行动奇袭敌机场，使胡宗南空运计划破产。临汾守敌，成了瓮中之鳖。
接着，徐向前指挥部队开始了外围作战。
守卫临汾的总指挥为阎军第六集团军副总司令兼晋南总指挥梁培璜。梁是个顽固而用兵手段十分凶狠之人。为守住临汾，他给属下下了一道"八杀"的命令，即：奉令进攻迟延不进者杀；奉令赴援迟延不进者杀；未奉令放弃守地者杀；邻阵被攻有力不援者杀；邻阵被陷不坚持本阵地者杀；滥行射击虚报弹药、阵前无敌尸者杀；谎报军情企图卸责者杀；主官伤亡次级不挺身而代行职务者杀。显然，正如徐向前所说：我们面对的敌人，是个"硬核桃"，你决心不大，牙齿不坚硬，就甭想咬碎它。
解放军发扬勇猛顽强的精神，经过22天的激烈争夺，基本扫清了临汾周围的敌据点，但在攻城时，由于步炮协同不好和工兵的连续爆破动作不协调，两次攻击受挫。这时，部队伤亡较大，士气也颇受影响，上层领导干部中，有人对能否打下临汾，亦发生动摇，甚至建议撤兵。
真是胜负系于一念之差。徐向前冷静分析，权衡利弊，认为有把握取胜，决不能被暂时的困难和失利吓破了胆。于是横下一条心，不拿下临汾，誓不收兵！他在动员大会上说："胡子白了，也要把临汾围下来"。中央军委支持徐向前的意见。从总部前往华东路过元氏车站的朱德同志，得知这一情况后，当即写信给薄一波和滕代远同志，坚信"临汾在敌人无增援的情况下，一定可以打开"。并强调指出："如向前同志有决心，应支持他一切，如炮弹炸药手榴弹之类，源源供给向前，撑他的腰。我在军委动身时已告剑英，打临汾决不可自动放弃，更不可由后方下命令叫他放弃。""要撑他的腰，再准备伤亡几千人，也在所不惜。"中央军委和朱德总司令的支持，更使徐向前坚定了誓死打下临汾的决心。
徐向前提出了新的作战部署要求：集中兵力，突击一点，拿下东关，用"土行孙战术"，打破敌人的"铜墙铁壁"。为了实现新的攻坚战法，徐帅还召开了团以上干部会议，并吸收战斗小组战士参加，听取和了解战士们在作战中的对策和办法。他风趣地对担任主攻任务的王新亭说："要是再打不下来，你和我一块上五台山去！"经过几天紧张的训练后，各项攻坚的准备工作基本就绪。至4月9日，担任攻击任务的二十三旅已先后完成四条坑道，十三纵也完成两条坑道。4月10日，突击部队进入阵地，各种火炮也先后作好射击准备。
10日下午4时，徐向前下达了攻击的命令。解放军92门各种火炮同时开火，对敌阵地进行摧毁性射击。一小时后，各种火器同时开火，火力准备持续达两小时。接着，二十三旅的三条坑道同时爆破，炸开两个缺口，一宽57米，一宽25米，两个突击营乘尘烟腾起，发起冲击后不到一分钟即登上墙头，迅即向纵深发展。只是三十七旅因经验不足，两条坑道，一条爆破处距城墙尚有8米，另一条没有起爆。徐向前当机立断，命令三十七旅突击队循二十三旅的突破口前进。两支突击部队很快占领东关，歼敌六十六师大部，连同攻东关外围作战，共歼敌5700余人。
人民解放军攻占东关的胜利，极大地震动了敌人。出席南京伪"国民大会"的山西省的议员老爷们，乱成一团，一日两次向蒋介石请愿，要他立即派飞机助战。蒋介石为给阎锡山打气，在伪"国民大会"宣称："决心保卫临汾"，并令国防部次长派飞机助战，疯狂轰炸临汾城外解放军阵地。阎锡山也三次打电报令梁培璜"人尽物尽，城存成功，城亡成亡"，梁培璜已无计可施，只好表示"决心与临汾共存亡"了。
占领东关后，徐向前迅即整顿队伍，调整兵力，准备攻击临汾城池。攻城部署是：首先扫清战壕外沿的敌据点；从城东和城南挖掘多条坑道接近城垣，爆破登城，全歼守敌。扫清城外守敌与挖掘地道，同时并举。
战斗已形成空中、地面、地下的三层立体战争。夺取城壕外沿点的战斗，4月15日打响后，敌我反复争夺，战况异常激烈。敌以杂牌部队守碉堡，而以精锐胡宗南第三十旅进行反扑。解放军每夺取一个阵地，均遭到敌人的拼死顽抗和疯狂反扑。城东的一号碉堡被太岳部队四十四团九连占领后，一天之内，敌以一个营的兵力进行三次反扑，该连最后只剩下五名战士，仍坚守阵地，最后在五连配合下，向敌反击，将敌营基本打垮。敌机频繁出动，向我阵地轰炸扫射，有个团指挥所被炸，全埋在土里了！敌人为夺回失去的阵地，竟大量使用毒气和燃烧弹，城垣外围，一片硝烟火海。激战十多天，城壕外围阵地，基本为我控制。
挖掘坑道是一场更为艰苦的地下战斗。我们挖，敌人也挖。他们企图以"坑道对坑道"的办法，破坏我坑道作业。他们挖掘大量"丁"字形反坑道，在坑道内，遍设听音缸，发现动静即实施对挖，临近时炸毁对方坑道。解放军在城东一线挖掘的15条破墙坑道和40多条掩护坑道，被敌人炸毁了十多次。
为了粉碎敌人的反坑道战术，徐向前命令部队与敌展开了对挖、对听、对炸的斗争。困难一天比一天多。坑道通过城下外壕，进入非常艰苦的阶段：由于严重缺氧，掘进速度缓慢；为了加强坑道掘进的保密，战士们挖土改用三股齿、小铁铲，脚缠破布棉絮走路，以手势代替讲话；因为敌人的反坑道又密又多，我主坑道不断拐弯，每前进一步都要付出很大的代价。不少同志昏倒在坑道里，救醒后仍坚持作业。
面对这一严峻的考验，徐向前告诫大家：这种时机是最紧要的关头，坚持就能胜利。
徐向前是带病走上指挥临汾攻坚的战斗岗位的。此时，他不顾自己有病在身，几次进坑道察看，和战士们一起研究改进作业方法。鉴于坑道作业劳动强度大，他指示要保证每人每天有两顿饭能吃上肉，会吸烟的人，每天发给50支装香烟半包。
4月28日，徐向前在团以上干部会上作了《围打临汾以来的几个问题》的报告。他强调指出："攻坚是啃硬骨头，要求牙齿要硬要利，否则就啃不下来，如果碰到硬骨头，啃起来又费力又费时，而且还吃不饱，因此，攻坚是非常艰苦的战斗。"
徐向前强调要敢于啃硬骨头，并不是不注意战术，不注意保存自己。相反，他指出，攻坚战一定有一个敌我消耗的阶段，在这个阶段中，必须以较小的伤亡与消耗，来换取敌人较大的伤亡与消耗，最后胜利方有保证。这是一个战术思想问题，各级指挥员必须深刻地认识和掌握。他严厉批评一个连长瞎指挥、对战士不负责任的错误。他说，一个人长大成一个兵，是很不容易的，叫战士去爆破，不组织火力掩护，拿人去同敌人拼，那决不是勇敢，而是愚蠢和罪恶！对于如何对付敌人的反坑道，徐向前还根据部队的经验，具体提出了需要注意的一些问题，比如：准确调查敌人外壕的深度，挖超越外壕的坑道；坑道内及暗道内，组织对敌坑道斗争；专设听音哨，判断敌对挖方向，坑道接近外壕时应加深，掘土用三尖耙，以减小声音，同时，地面以五○小炮射击外壕，以错乱敌人听觉，发觉敌坑道接近，即先机爆炸，或迅速绕过。
既要敢于同敌人"打死仗"，打到底，又要十二分地注意灵活运用战术，徐向前就是这样一个军事家。
正当部队进行坑道战较劲的时候，党中央连续向徐向前发来电报，指出傅作义、阎锡山企图联合进攻石家庄，保卫石家庄是当务之急，要求徐向前抽出3个旅的兵力，兼程开至太谷附近，攻击和牵制阎军。徐向前毫不犹豫，以大局为重，迅即抽调3个旅，北上晋中，牵制阎军。留下的部队，担负起更加艰巨的任务。
5月1日，解放临汾的《紧急动员令》颁发。动员令号召临汾前线全体指战员：以百倍紧张的精神紧急动员起来，扫除一切倦怠、松懈、烦腻、迟疑的现象；坚决、勇猛、积极、顽强，争取解放临汾的最后胜利！
5月17日，解放军已完全扫清了敌人外围阵地，两条破城坑道胜利挖到城下。二十三旅的战士们正在把1.2万多斤黑色炸药装入坑道药室，同时军区工兵也正把6000斤黄色炸药装入另一条主坑道的时候，突然听见敌反坑道的声音，情况万分紧急。
为不失战机，徐向前果断决定提前总攻时间。下午7时30分，随着啪、啪、啪三颗信号弹腾空而起，一声闷雷般的巨响，城墙被炸开了两个三四十米的缺口。突击队首先登城，部队相继冲进城内。
敌人仍然凭借着工事、地雷，拼命顽抗。解放军进攻部队虽然伤亡不小，但仍以勇猛顽强、前仆后继的精神，和敌人展开了巷战，终于粉碎了敌人的进攻。当夜将守敌全歼。敌总指挥梁培璜被活捉。
这次战役，历时72天。解放军共歼敌2.4万余人，其中俘敌总指挥梁培璜、六十六师师长徐其昌以下近2万人。至此，晋南全部解放。
战役结束后，徐向前问梁培璜：明摆着临汾是座孤城，你为什么还要这里死守？梁回答：临汾是卧牛城易守难攻，历史上连李自成也没有攻下，原以为解放军就几门土炮，顶不了什么用，想不到土飞机这么厉害！
临汾战役确是一场极其艰苦的战役。72天，攻坚的时间不可谓不长，部队也付出了较大的伤亡代价。攻坚之难，时间之久，消耗之大，战况之惨烈，在晋冀鲁豫军区发展史上，实属少见。72天时间，解放军共消耗炸药10万吨，炮弹10万发，手榴弹20万个；部队伤亡1.5万人，占总兵力的四分之一。徐向前当时以"伤亡大、胜利大、锻炼大"评价临汾战役。党中央、毛泽东高度评价了临汾战役。毛泽东在6月1日给东北野战军领导的电报中说："徐向前同志指挥之临汾作战，我以9个旅(其中只有两个旅有攻城经验)，攻敌两个正规旅及其他杂部共约两万人，费去72天时间，付出1.5万人的伤亡，终于攻克。我军9个旅(约7万人)都取得攻坚经验，是一个很有意义的大胜利。临汾阵地是很坚固的，敌人非常顽强。敌我两军攻防之主要方法是地道斗争。我军用多数地道进攻，敌军亦用多数地道破坏我之地道，双方都随时总结经验，结果我用地道下之地道获胜。"
临汾攻坚，是徐向前指挥的一场典型的城市攻坚战。如何取得这种攻坚战的胜利，徐向前后来总结认为，在战役指挥上，主要有这样几点：
首先是，敌人硬，我们要更硬。临汾守敌，凭借坚固的据点，有恃无恐，顽强据守。然而，我们却要有啃"硬核桃"的顽强决心。这种决心又决不是盲目蛮干，而首先是客观形势有利。当时，人民解放军大举向外线进攻，蒋介石的大量兵力，被牵制在中原、西北、华北战场上，已无力顾及山西战局。山西处于内线作战地位，大部分地区落入我手，阎锡山兵力有限，以死保太原为目标，不敢派大军南出营救临汾。这样，就给我们提供了有利战机和充裕时间，彻底消灭临汾之敌。同时，还有党中央的坚决支持和广大人民群众的大力支援。在久攻未克的情况下，如果不是党中央的信任和支持，临汾战役也很难进行到底。人民群众在战役进行过程中，给部队以很大的支持。出动民工20万人，门板26万块，梁木10万根，粮食数百万斤，保证了前线作战的需要。临汾周围上百公里的村落里，门板全部献出，群众"夜不闭户"。再者，部队虽然新组织不久，缺乏经验，但觉悟高，求战心切，虎虎有生气。