晋世祖武皇帝咸宁二年（公元276年）
……而朝议方以秦、凉为忧，祜复表曰：“吴平则胡自定，但当速济大功耳。”议者多有不同，贾充、荀勖、冯尤以伐吴为不可。祜叹曰：“天下不如意事十常居七八。天与不取，岂非更事者恨于后时哉！”唯度支尚书杜预、中书令张华与帝意合，赞成其计。
司马昭灭蜀、司马炎登基已经十多年了，晋国得到了十年和平。中国社会的自我修复能力是很强的，有十年和平就能恢复，有二十年和平就能繁荣，有三十年和平就能大国崛起，前提是皇帝不要折腾。
司马炎在泰始年间（公元265—274年），政治上没有经国远图之策，但经济恢复是做到了，国力上升，所以开始研究平定吴国，睡榻之旁不容有人酣睡，皇帝之旁不容有人称孤道寡。
吴主孙皓主人翁意识太强，想怎么折腾就怎么折腾，荒唐程度，只有你想不到，没有他做不到，政事失和，强邻觊觎就是自然必然的了。
当时晋国朝廷貌似有两派，一派是平吴派，另一派是反对派。
在这个问题上，贾充有点失算，他反对讨伐吴国的，公开的理由是北方鲜卑人不断骚扰，所以他这一方以“秦、凉为忧”。明末清初学者王夫之深挖贾充的思想根源：“贾充之力阻伐吴也，不知其何心，或受吴赂而为之间，或忌羊、杜、二王之有功而夺其宠，皆未可知。”一是吴国向他行贿，这种事中国历史上很多，但是贾充受吴国贿赂没有证据，后世史家对贾充都没有好感，如果有的话，肯定会大肆宣扬；二是怀疑贾充忌妒羊祜、杜预平吴立功，这个心理或许有之。王夫之最狠最大胆的推测是，“充知吴之必亡……以俟武帝之没，己秉国权，而后曰吴今日乃可图矣，则诸将之功皆归于己，而己为操、懿也无难”。王夫之推断，贾充想等到司马炎死后，自己掌权后再去平灭吴国，这样就可以远学曹孟德，近仿司马氏，通过对外战争掌握兵权，篡党夺权自己做皇帝！我们说居心叵测，王夫之居然把贾公闾的居心给测出来了，功率强大！
“统一祖国”是终极正确，国家要统一这是必需的。对于司马炎来说，统一既是司马王朝合法性的宣示，也是政权稳定的必要条件，南边的吴国不仅是在卧榻旁酣睡，而是经常伸过手来乱揣乱摸，骚扰边境。司马炎对灭吴的目标从来没有怀疑，但是对灭吴的时间和条件是没谱的。主伐派羊祜、杜预、张华等说：“这个菜可以点。”贾充、荀勖、冯等则说：“这个菜确实没有。”一来一往，车轱辘话差不多聊了十五年，在早婚早育的年代，这就又是一代人了。
贾充和羊祜都善于揣摩上意，都是深知帝心之人，在平吴问题上贾充没有和皇帝想到一处，多半还是私心作怪，所谓利令智昏就是这个意思。贾充不至于狂妄到要篡党夺权，但是平吴的建议不是自己第一个提出来的，所以他就为反对而反对。
羊祜的境界比贾充要高很多，他“立身清俭，被服率素，禄俸所资，皆以赡给九族，赏赐军士，家无余财。遗令不得以南城侯印入柩”。“祜乐山水，每（美）风景，必造岘山，置酒言咏，终日不倦。”人的见识高远，不为物累，便活得潇洒。
“祜历职二朝，任典枢要，政事损益，皆谘访焉，势利之求，无所关与。”司马昭、司马炎父子宽容贾充、石苞等贪婪的臣子，但内心对羊祜这样淡薄利益的人还是存有尊敬。所以国家每有大事，都愿意找他咨询商议，一是羊祜有见解，二是知道羊祜的看法不会为私利所左右，比较客观公正。
羊祜推荐王濬（jùn）主持益州工作，积极备战，又举荐杜预代替自己镇守荆州。所以平吴之后，群臣上寿，帝司马炎执爵流涕曰：“此羊太傅之功也。”
羊祜死后，备极哀荣，司马炎亲临致悼念，“是日大寒，帝涕泪沾须鬓皆为冰焉”。荆州军民“莫不号恸，罢市，巷哭者声相接”，“吴守边将士亦为之泣”。“襄阳百姓于岘山祜平生游憩之所建碑立庙，岁时飨祭焉。望其碑者莫不流涕，杜预因名为堕泪碑。”
羊祜有句名言，叫“天下不如意事十常居七八”。看似悲观，却是很健康的心态，持此心态处事为人，不会那么多患得患失。
羊祜在后世颇得好评。
唐代诗人孟浩然有《与诸子登岘山》：
人事有代谢，往来成古今。
江山留胜迹，我辈复登临。
水落鱼梁浅，天寒梦泽深。
羊公碑尚在，读罢泪沾襟。
宋代诗人陆游有《水调歌头·多景楼》：
江左占形胜，最数古徐州。连山如画，佳处缥缈著危楼。鼓角临风悲壮，烽火连空明灭，往事忆孙刘。千里曜戈甲，万灶宿貔貅。
露沾草，风落木，岁方秋。使君宏放，谈笑洗尽古今愁。不见襄阳登览，磨灭游人无数，遗恨黯难收。叔子独千载，名与汉江流。
在金庸的小说《神雕侠侣》中，也提到了羊祜的故事，并把羊祜的堕泪碑植入到情节中。金庸的小说在当代影响大，宣传羊祜他是最给力的了。