当时前秦皇帝苻坚特别强盛，称霸一方，不止一次侵扰晋的边境。东晋朝廷商议要挑选一位能够防御北方的良将，争论了半天也找不出胜任之人，这时谢安推荐谢玄，中书郎郗超也称谢玄确有将帅之才。于是朝廷即刻征召谢玄回来，任他为建武将军、兖州刺史、领广陵相、监江北诸军事，镇守广陵(今江苏扬州)。谢玄领命上任后，仔细分析了当时的形势，然后，招募勇士，组成“北府兵”。他所招募的人多是从北方逃来的农民，这些人背井离乡、历尽磨难，有北上抗敌、重返故乡的强烈愿望。经过一段时期的严格训练，成为一支能征善战的劲旅。
太元三年(378)二月，苻坚派军攻打襄阳(属今湖北省)，谢玄发兵前往救援，但兵到之时襄阳已被攻破。苻坚又派大将彭超带兵七万围攻彭城(今江苏徐州)，谢玄带军一万余人急速赶去迎救，解了彭城之围。次年，秦将彭超、句难又带兵南侵，相继攻陷盱眙(今属江苏)和淮阴(今江苏清江)两地，朝廷为之震动。秦军又集六万之众围攻三阿(今江苏宝应)，谢玄奉命从广陵出发北上拒敌，在白马塘(湖名，在今江苏宝应西北)与秦军展开激战，大破敌军，于是解了三阿之围。谢玄乘胜进军，两败秦军。此次作战之后，朝廷论功封他为冠军将军，加领徐州刺史，封东兴县侯。
二、淝水之战留名史册
苻坚虽然遭到挫折，但灭亡东晋、统一天下之志丝毫未动。太元八年(383)八月，苻坚率87万军众从长安起兵，开始了中国战争史上规模空前的南伐战争。诸路军马水陆并进，声势浩盛空前。
东晋朝廷听到消息，惊恐万分，全都束手无策。九月，东晋朝廷议定对策，派谢安都督扬、豫、徐、兖、青五州诸军事，镇守建康，以谢石为征虏将军，征讨大都督，以谢玄为前锋都督，带兵八万抗拒来军，令胡彬带水军五千援救寿阳(今安徽寿县)。
十月，前秦将领攻克郧城(今湖北安陆)，攻下寿阳，进逼硖石(今安徽凤台甫)，以五万人屯洛涧(即洛河)，立栅于淮水之中，以截断晋军前来救助硖石的道路。谢玄、谢石在离洛涧，25里处设营，不敢前进。十一月，谢玄派广陵相刘牢之带精兵五千，进军洛涧，大破秦军。秦军崩溃，争先恐后地奔逃，纷纷跌入水中，死亡一万五千余人。晋军水陆并进，声势很汹，苻坚登上寿阳城了望，见晋军阵势严整，再向八公山上张望，便觉得那上面的树木全是晋兵(“草木皆兵”)，他大惊失色。
当天晚上，苻坚召集众将领商议对策，最后议定要用计策击败晋军，于是下令把小将旗列屯淝水以北，以示这里并没有大的将领驻守，以此来诱惑晋军。谢玄见了便派遣使者去见苻坚的弟弟苻融(当时为秦阳平公，有文武谋略)，对他说：“君悬军深入，而摆阵临水，这显然是想长久相持，而不是速战速决的架势。如果你们的军队能将阵势稍稍退却一点儿，使得我军能够渡过河去，然后一决胜负，那多好啊！”秦诸将对此建议都表示、反对，而苻坚却不以为然，他说：“答应他的请求好了，我们只要命令军队稍作后退，让晋军过河，在他们渡过一半的时候，我们发动骑兵突然冲杀他们的军队。这样一来，哪有不胜之理呢！”苻融也赞同这种主张，于是下令让军队后退。军中兵士奉命后撤，渐渐乱了阵角，后边的兵众也弄不清为什么前面军众纷纷后退，这时被前秦俘虏且任尚书的原东晋梁州刺史朱序在后头趁机大喊：“不好了，我们的军队失败啦！”秦兵闻听此言，顿时大乱，争先恐后四处逃命，苻坚、苻融极力阻止却无济于事。谢玄大喜，乘机带兵迅速过河攻击秦兵。苻融万分焦急，骑马在阵中来回奔驰，想要制止后退的士兵，哪里还能阻挡得住？后退的秦军和冲过来的晋军混合在一起，难以分清，苻融跑了一阵被乱骑冲倒，晋军见了赶紧冲上来，把他当即斩杀；此时苻坚也身中流箭。秦兵崩溃，谢玄乘胜追击，直到青冈(今寿县西北)。秦兵自相践踏而死的蔽野塞川；逃出战场的士兵，听到风声鹤唳，都认为是晋追兵到来了，吓得丧魂落魄，昼夜不敢休息，加上饥寒交迫，死了十之七八。苻坚见大势已去，只好单骑杀出重围，逃到淮北。谢玄攻取了寿春，所获仪服、器械、军资、珍宝堆积如山，牛马驴骡骆驼达十万余。这就是历史上着名的以少胜多、以弱胜强的“淝水之战”。
太元九年(384)八月，谢安认为苻坚刚刚被挫败，应当乘机开拓中原，于是以谢玄为前锋都督，带冠军将军桓石虔讨伐秦。谢玄占领袁城后，紧接着派军去攻占鄄城(今山东境内)。自此以后，河南城堡都纷纷来归附。谢玄又攻打秦青州刺史苻朗(苻坚之侄)，苻朗战败投降。兖、青、司、豫平定以后，谢玄加领都督徐、兖、青、司、冀、幽、并七州诸军事，封康乐县令。谢玄驻在彭城，北固河上，西援洛阳。
太元十三年(388)正月，谢玄去世，时年46岁。
刘牢之
刘牢之(生卒不详)，东晋名将。字道坚。彭城(今江苏徐州)人。他深富才略，指挥有方，多有军功，却缺少见识和主张，屡屡被人利用，最后自缢而亡。
一、大战有功声威渐重
刘牢之的父祖均勇武出色，被任命为边郡太守或将军，刘牢之也因勇武而踏人仕途。太元初，谢玄北镇广陵，当时苻坚势力正强，谢玄招募劲勇之士，刘牢之等因骁勇出众而应选。谢玄以刘牢之为参军，领精锐兵众作前锋，百战百胜。苻坚将领句难南侵，谢玄带何谦等抵拒来兵，刘牢之在盱眙获句难辎重，得到运船无数。战后，刘牢之被任命为鹰扬将军、广陵相。
当时车骑将军桓冲攻打襄阳，宣城内史胡彬带兵向寿阳，以为桓冲声援。刘牢之带士卒两千，作为胡彬的后继力量。淮淝之战，苻坚派苻融及骁勇大将张蚝攻陷寿阳，谢玄派胡彬和刘牢之去迎敌。谢玄派刘牢之带精兵五千去抵拒敌军。在距离敌军十里的地方，敌军阻涧列阵。刘牢之率军径直向前冲击，强渡洛涧，敌军崩溃，争相奔渡淮水，杀伤一万余人，收获了敌军所有器械。苻坚在淝水大败，回归长安，其余的力量都龟集在一些小地方。刘牢之又进军去平定谯城(今河南夏邑北)，派安丰太守戴宝守卫。不久，刘牢之任龙骧将军、彭城内史，论功被册封为武冈县男，食邑500户。刘牢之又进屯鄄城(今属山东)，征讨那些未降服的势力，河南城堡承风归顺的特别多。
后来，地方将领王恭要征讨朝中权臣王国宝，引刘牢之为府司马，领南彭城内史，加辅国将军。但王恭只以行阵武将对待刘牢之，礼遇很薄，刘牢之深怀耻恨。等到王恭举兵，司马元昱派庐江太守高素劝说刘牢之背离王恭，事成以后即其位号，刘牢之答应了他。王恭死后，刘牢之代替他作了都督兖、青、冀、幽、并、徐、扬州及晋陵军事。
刘牢之本是一名小将，一朝取代王恭职位，众情不悦，于是他任用心腹徐谦之等以自强。这时杨俭期、桓玄带兵进逼京师，上表请求诛杀刘牢之。刘牢之带兵驰赴京师，在新亭驻兵，桓玄等受诏退兵，刘牢之还镇京口。
二、屡受利用起事不成
孙恩作乱，攻陷会稽后，刘牢之派遣将领桓宝带兵去援救三吴。到了曲阿，吴郡内史桓谦已放弃郡城而逃，刘牢之便带兵东讨。到吴之后，和卫将军谢琰攻击敌军，屡战屡胜，直到浙江边上。刘牢之进任前将军，都督吴郡诸军事。这时谢琰屯驻乌程，派司马高志去援助刘牢之，刘牢之带众军渡浙江，孙恩畏惧，赶忙逃跑到海上。刘牢之还军之后，孙恩又进入会稽，杀害了谢琰。刘牢之进号镇北将军，都督会稽五郡，带兵东征，派参军刘裕去征讨孙恩，孙恩闻听又有兵来，急忙又逃人海上。不久，孙恩到京口，当时拥有士卒十万、楼船一千。刘牢之派刘裕出兵，刘裕兵众还不足千人，和孙恩大战，竟打败敌军。孙恩闻知刘牢之已还京口，便逃往郁州，结果又被刘敬宣、刘裕兵战败。不久，孙恩死去，刘牢之自此威名大振。