田家镇一战，湘军水师名闻天下。咸丰五年（1855）胡林翼攻武昌，时杨、彭不和，对战局十分不利。王闿运《湘军志·水师篇》说：
……杨载福自外江来会师，同出江，屯沙口。沙口者，武昌下游三十里，至沌口六十里。还沌口，当从武昌汉阳城下过。载福之出也，寇无备，而玉麟从汉口渡江，距两城远，故寇炮不甚相及。既空屯沙口，不能助攻战，乃议还。众议由汉入沌，虽迂远，其避炮宜易。载福难之，曰：‘丈夫行何所避，浮江下，溯江上，乃为快耳！’玉麟耻后之，张帆先行。寇先已密备，觇我还路，舣舟傍中流，及城上悬炮并发。诸军但冒进，不知谁生死，炮丸飞鸣，船仓子以斗计，击沉四船，中炮死者三百人。炮击玉麟桅杆，不能进，望见载福，自呼之，载福船瞬息已去。成发翔三版〔舢板〕过，玉麟跃入，得免。知其事者皆不直载福，而玉麟曰：“风急水溜，呼固宜不闻。”载福先已不乐玉麟，林翼亲拜两人，和解之。
此后，彭玉麟与杨岳斌到邬穴养伤，水师开始有内湖外江之分。曾国藩到南昌后，以内湖水师全权由彭玉麟统领。当时衡州就道，江西为太平军所控制，彭玉麟便穿上商人服装，徒步七百余里来到南康。曾国藩对此大加赞叹，上奏称其“艰苦耐劳，有古烈士风，堪任总统水师之位。”
咸丰八年（1858），湘军欲攻九江，水师被太平军隔成两股，彭玉麟率众攻，损失十余舰，有人劝阻说：“今驱士卒与飞火争命，徒死无益。”彭玉麟闻而泪下，说：“不度此险，终无生理，今日我死日也，义不但将士独死”。经奋力争，与外江水师合，不久攻占九江。
十一年，彭玉麟创立飞划营，助克安庆，授安徽巡抚。是时，清军初克安庆，彭尚统领水师，常居舟中，未及莅任。偶至安庆，命府县限三日内，将闾巷太平军所贴标语剔除净尽。届期，首府据知县的奏报，向彭玉麟交差。彭驰马通衢视察，果无标语，及入穷街僻巷，则见张贴者如故，且多“悖逆之辞”。彭大怒，召首府骂之，又奋拳殴打。次日，值衙参之期，大小官员无一至者，皆曰：“恐遭殴骂。”彭素志雅，不欲入官场，先已具疏历请开缺，专意“剿贼”。继复陈难离水营，力辞巡抚：
臣衡阳一诸生，父母弃养，终鲜兄弟，孑然一身，少习举业，不知韬钤，亦无搏击之勇，徒以逆贼猖獗，激于义愤，遂从帅臣曾国藩于军旅之中，矢念杀贼。初时创立水师，曾国藩以臣粗有胆识，饬同今福建提督杨载福制造炮船，编立营哨，候习风涛沙水之性，久而稍谙驾驶，与贼转战湖湘，屡频危险，幸不覆没。此皆仰赖圣主威福，诸将帅精心维持，士卒用命，非微臣之力所能。中间叠蒙鸿恩起擢，屡请留办军务，皆邀俞允。不图恩命有加无己，臣亦何心敢自外高厚乎？顾念封疆大吏，有节制文武之权，镇抚军民之责，措置一有未当，必致上负朝廷，下误苍生。以臣起自戎行，久居战舰，草笠短衣，日与水勇舵工驰逐于巨风恶浪之上；一旦身膺疆寄，进退百僚，问刑名不知，问钱彀不知，譬之跛者行生僻之地，其为颠蹶，不待履忘多病，更虞不胜重任。连日与督臣熟商，免其代为陈请。督臣以向来无此体制，且辞不受命，迹近沽名，必获谴责。臣再四思维，与其勉强负荷，终贻误于国家，不若冒昧直陈，冀理解于君父。为此乞恳圣恩，准开臣缺，简放贤明精干大员，接任安微巡抚，整顿吏治兵事，使臣得一意办贼，努力前驱，感戴皇仁，实无既极。
清廷见彭玉麟的上疏忠诚无欺，便询问曾国藩的意见，曾国藩奏称彭某素统水师，一旦舍舟登陆，未免用违其长。于是奉旨允其开缺，以水师提督候补，旋改以侍郎候补兵部。彭玉麟又三次上疏力辞，后改安徽提督，又以武职望轻，改兵部右侍郎。
同治三年（1864）六月，克江宁，曾国荃等会彭玉麟、杨岳斌二人前衔，飞章报捷。诏赏彭玉麟一等轻车都尉世职，加太子少保衔。初，彭升一级，每欲引退，曾国藩说：“等贼平后当为陈奏，遂范少伯之高风。”至是归田。四年，诏署漕运总督，再疏辞官，历数自己由知府而升巡抚，由巡抚而改侍郎，一日也未居其位，始终也不敢以实缺人员自居等情。同治帝鉴其诚，破例允准，乃与曾国藩奏定长江水师之制：自荆、岳二州至崇明县五千余里，设提督一员，总兵五员，以六标分汛营哨官七百九十八员，兵万二千人，月饷及杂费银皆取给长江厘税，不待户部。彭玉麟在军中近二十年，初时军饷奇绌，他商于盐政，销盐自卖以供一军之饷。
彭玉麟就是不愿作官，不久又上疏言：
臣素无家室之乐，声色之好，性尤不耽安逸。治军十余年，未尝营一瓦之覆，一库之殖，以庇妻子；身受重伤，积劳多疾未尝请一日假；终年风涛矢石之中，虽甚病，未尝一日移居岸上。诚以亲服未终而从戎，既难免于不孝之罪，岂敢复为惜身家之图？尝闻士大夫出处进退，关系风俗之盛衰。臣墨至从戎，志在灭贼，贼已灭而不归，近于贪位；长江既设提镇，责有攸司，臣犹在军，近于恋权；改易初心，贪恋权位，则前此辞官疑于作伪；三年之制，贤愚所同，军事已终，仍不补行终制，涉于忘亲。四者有一焉，皆足伤败风俗。天下之乱不徒在盗贼，而在士大夫进无礼、退无义。臣岂敢稍犯不韪，以伤朝廷之雅化？况且人的才力聪明，用久了就会枯竭，古来臣子往往始有建树，末路陨越，由精气竭也。臣每叹其人不能善藏其短，又惜当日朝廷不能善全其长，知进而不知退，圣人深戒之。乞开臣兵部侍郎缺，回籍终制。
清廷特许其开缺回籍。