彭、曾二人虽然关系甚笃，几无内外之分，但也时常因事生怨，矛盾不休。如柳寿田事件，以及彭力劝曾国藩杀掉曾荃，以正视听，就是明证。
柳寿田，早年曾任曾国藩的戈什哈，后来转入曾国藩的亲兵营，又转入彭玉麟统率的水师，是曾的心腹耳目。他深知彭玉麟与曾国荃不和，故常散布右曾非彭的言论。同治三年秋冬之际，彭玉麟借故将柳寿田割耳撤职，并且不许他离营前往金陵。曾国藩对此十分气恼，去信诘责彭玉麟说：我现在尚有兼辖水师之职，你不请示我，即将柳寿田撤职，“故意重责割耳，谓非有意挑衅，其谁信之”？“此等举动，若他人施之阁下，阁下能受之乎？阁下于咸丰十一年（1861）冬间及此次皆劝鄙人大义灭亲。舍弟并无管、蔡叛逆之迹，不知何以应诛？不知舍弟何处开罪阁下，恨之如此”？你还到处攻讦我“将兵紊乱。鄙人在军十年，自问聋聩不至于此”。
长期以来，由于在曾国藩的袒护下，曾国荃嚣张跋扈，盛气凌人，所部吉字营更是无恶不作，在天京城中烧杀抢掠。为此，彭玉麟曾两次力劝曾国藩要大义灭亲，从全局考虑，杀掉曾国荃，以正视听。但每每都被曾搪塞之，并由此对彭心生不满。不过，由此也可以看出彭、曾之间的矛盾之深。
彭玉麟归隐后，以查江旧居已坏，在郡城东岸买小楼自居，题名曰“退省庵”。常往母亲墓地及查江家庙，布衣青鞋，不设侍从，补制满，仍不出任官。种树灌园，有终老之志。但自彭玉麟归隐，长江水师规制渐坏，弁勇横行抢掠，朝野有人认为水师可废。清廷下诏彭玉麟再出视师。彭玉麟出山后即劾罢营哨官百八十二人，于是江湖肃然。尤其是不顾情面，劾退了名将黄翼升。不久入觐，命署兵部右侍郎，赐紫禁城骑马。同治大婚，充宫门弹压大臣。但彭不耐服官，数月后，再疏力辞，清廷许之，仍命每年巡阅长江，专折奏事。曾国藩卒后，彭玉麟被命巡阅长江，后杨岳斌也同任此职，因曾国藩创水师，杨彭并为大将，功也最大。长江既设经制水师，提镇而下，都是杨彭旧部，故清政府欲二人共领江防。光绪元年四月二十日李鸿章致彭玉麟书云：“厚帅踉跄入觐，行李萧条，然幸而两宫眷念旧勋，委以巡阅长江，令吴楚岁筹公费，稍资禄养。厚公杨岳斌亦喜与麾下廿载同袍，一朝共楫，相助为理，尤相得益彰。此疮痍赤子，患难友生，所同声钦慰者。我兄闻之，当更拊掌轩渠。以后互替往来，公私可兼尽矣。弟留厚公在此盘桓数日，他即由运河南下，先到金陵一商，望公于江干回棹相待。”可见杨岳斌由陕甘总督归里后很清贫。统帅多年，身经百战，作督兼圻，位跻正卿，而一寒至此，殊为难得。巡江新命，就杨彭与长江水师的关系论，确如李鸿章所云“相助为理，相得益彰”，而且此前杨岳斌离水营而改统陆师，说者颇谓用违其长。今仍令督治水师。是年到防后，七月二十八日与彭玉麟会衔陈奏会商江防情形一折，亦有“臣等受恩愈深，报称愈难，惟有力戒因循，亟图振作，期无负皇上慎重江防之至意”等语，但其后常请假，不久复乞罢回籍，事仍专于彭玉麟，总因两帅齐名已久，地位相等，相处之际，也有难处。彭玉麟勇于负责，有功不贪。常轻舟小艇，往来倏忽，不独将佐畏之如神，即地方官也望风震慑，民间不轨之徒及作奸犯科者辄互相惊吓曰：“彭宫保来！”立即奔逃不敢出。威声震动数千里。朝廷对他倚任更重，凡有大事交他处置，如两江总督左宗棠、刘坤一，湖广总督涂宗瀛、两广总督张树声，皆朝廷倚重大臣，经言官劾奏，皆命彭玉麟察核。光绪初年，诏任两江总督，补兵部尚书，法、越战争爆发，命赴广东督办海防。彭玉麟调湘军四千由海道前往，自己从衡州单骑入粤。审度形势，以虎门为第一重门户，由虎门而进，左是渔山、珠山，是为北路；右是海心冈、大黄窖，是为南路。彭玉麟无事驻大黄窖，有警驻虎门。当时有人认为虎门辽阔难守，不如退守黄浦。彭玉麟察虎门以外即零丁洋，大海浩瀚无涯，屈曲清流止一线，无论帆船轮船必循此一线而进，进必经沙角山下，因此发健儿凿山石为炮洞，兵隐其中，敌不得见。
中法议和，彭玉麟抗疏力争，谓有五不可和：法夷无端生衅，不加惩创，遂与议和，不可者一；法夷未受惩创而请款，是必中藏诡诈，不可者二；法夷不索兵费，但求越境通商，恐将来必有十倍取偿于后者，不可者三；以外强中干之法夷不问其罪，降心就和，诸夷必环向而起，不可者四；云南物产富饶，为西人垂涎，若与议和，必许通商，广传邪教以张羽翼，一旦窃发将何以支？不可者五。又言有五可战：揣敌情而可战者一；论将才而可战者二；察民情而可战者三；采公法而可战者四；卜天理而可战者五。不久议和成，彭玉麟自粤归衡，累疏乞休，至光绪十四年（1888）始开兵部尚书缺，巡阅长江如故。又二年卒，年七十五。