这种状况不能维持长久，应当及时定夺，统一四海。如果率领梁、益两州军队水陆并进而东下，荆楚军队进逼江陵，平南、豫州军队进攻夏口，徐、扬、青、兖等州军队进军秣陵，击鼓摇旗作为疑军，多方齐进，使敌军虚实难辨，以东南一角的吴国，抵挡天下大军必然兵力分散，人心慌乱，各种军需紧急难备。这时巴、汉军队顺流而下，直捣空虚腹地，一处陷落则全境震动。吴国国土沿江，没有前线后方之分，东西数千里，处处设防，战场广大，不能安息养精。孙皓肆意妄为，与下属互相猜忌，名臣重将失去信心，所以像孙秀这类人都害怕威胁而来投降。将帅疑于朝廷，士卒困顿于战场，没有保国安民之计，人心散乱，平时即有叛离之意，一旦兵临城下，必然有人响应而来降，他们最后不会齐心拼死尽忠是可以预见的。
吴人做事急速而不能持久，弓弩戟盾等又不如中原，只有水战于他们有利，但我军一入吴境，长江就不是吴军专有，吴军回头保守城池，则是去其长而有其短。晋军深入敌国，远离后方，必有死战的决心;吴人在本土作战，会有败则退而守城的念头。这样看来，平吴之战是很快可以取胜的。”此疏就是历史上有名的《请伐吴疏》。
奏疏得到了司马炎的肯定，却遭到了朝内其他大臣的反对，权臣贾充、荀勖、冯紞等人的态度尤为激烈。他们提出西北地区的鲜卑未定，不应该两线作战。只有度支尚书杜预、中书令张华等少数人赞同。
恰逢晋军在秦、凉屡有败绩，羊祜遂再次上表：“东吴平定，则胡人自然安定，，当前只应迅速完成灭吴的大业啊。”但还是遭到大部分人的反对，羊祜叹道：“天下不如意的事总是十有七八，目前有些人当断不断，当予不取，怎能不让以后的有识之士引为遗憾！”
名德远播
咸宁三年（277年），司马炎下诏封羊祜为南城侯，设置相的官职，与郡公同级。羊祜辞让说：“昔日张良辞让三万户的封地，只接受留这个地方的一万户，汉高祖满足了他的愿望。臣在先帝时接受了钜平这块封地，岂能再接受更重的封爵而遭来官场的非议。”坚意不接受这次加封，司马炎也就答应了。
羊祜每次被司马炎提拔封赏，常持恬淡退让态度，至诚之心世人皆知，他的德操志趣，往往不在官职的行列等次上。所以英名美德传播远近，朝野上下有目共睹，朝中大臣议论，羊祜应居宰相之位。但司马炎正在考虑灭吴之计，将东南军政要务托付给羊祜，也就把大臣的意见搁置一边了。
羊祜任职历魏晋二朝，掌握国家机要，重大举措，都要向他咨询，而争权求利的事却与他无关。他所献的好计谋和正直的议论，事后都把稿子烧掉，所以世人很少知道。凡是他所荐拔的人，都不知荐拔人是谁。有人认为羊祜这样谨慎守密太过分了，羊祜解释说：“话怎能这样说呢，现在一般人在你跟前促膝谈心，像是很亲近，一出门就说假话坏话，所谓君臣之间不守密的训诫，我怕自己还没做到呢?身居要位而不荐拔贤才奇人，岂不在知人问题上有愧吗？况且，被荐举的人在朝廷受职，而却到荐拔者私门谢恩，这是我不愿意做的。”羊祜的女婿劝羊祜说：“购置些田产家业，也好卸官后有所归宿，后事有所依托，这样不是很好吗？”羊祜当时没有答话，事后告诉子女们说：“这种说法是知其一不知其二。作为人臣，经营私业就违背公事，这是很糊涂的做法，你们应记住我这些话。”
羊祜曾经给从弟羊琇写信道：“东吴平定之后，我当戴上隐士的角巾，东回故里，经营一个能容棺材的坟墓。一个贫寒之士而至身居重位，怎能不因势盛气满而受指责呢?汉朝弃官归农的疏广就是我的榜样。”
羊祜喜游山水，风景美好的日子，一定到襄阳城南的岘山游乐，饮酒赋诗，终日不倦。有次，羊祜慨然叹息，对从事中郎邹湛等人说：“自从有了宇宙便有此山，自古以来的贤达高士，像我和你们一样，登上此山眺望游乐的不知有多少，但都淹没无闻了，想来令人悲伤。如死后有知，我的魂魄仍会登此山的。”邹湛说：“您老德冠四海，道接前哲，美好的业绩和名望一定和岘山一样永存于世，至于我等之人，才像您说的会淹没无闻啊！”羊祜讨伐孙吴有功，应当增封爵位与封地，于是请求皇帝将自己应增的爵位封地赐给舅父的儿子蔡袭，于是晋武帝下诏封蔡袭为关内侯，食邑三百户。
遗策灭吴
同年冬十二月，吴夏口都督孙慎侵入西晋边界，掠走弋阳、江夏等地上千家人口。羊祜没有派兵进行追击。事后，晋武帝派人追查原因，并打算移徙荆州的治所。羊祜说：“江夏离襄阳八百里，等知道吴贼侵犯的消息，贼已离去几天了，再派兵去，哪能救护百姓呢?让军队来回奔波，只图不受责备，这样做恐怕不合适。从前魏武帝设置都督，大致都与州府接近，因为军队宜聚合而忌分散。国境线上一方是敌，一方是我，认真守住边界就算了，这是古代人有益的教诲。如频繁迁徙州府所在地，敌人出没无常，很难确定州府应设在哪里。”使者也无法责问羊祜了。
咸宁四年（278年）八月，羊祜染病，请求入朝。返回洛阳正逢景献皇后羊徽瑜去世，羊祜十分悲痛，病情更加严重。司马炎下诏，命他抱病入见，并让他乘坐辇车上殿，不必跪拜，备受优礼。羊祜则再一次向司马炎陈述了伐吴的主张。
后来羊祜病重不能入朝，晋武帝专门派中书令张华前去咨询方略，羊祜对张华说：“当今主上有受禅让的美名，但功德尚未著称于世，吴人暴政已到极点，此时伐吴可不战而胜。统一天下而兴办文教，则晋主可比尧舜，而臣下犹如稷契，这是百代难逢的盛事。如果放过这个机会，孙皓或不幸死去，吴人另立英明君主，虽有百万大军，长江是难以越过的，这不是留下后患吗？”张华很赞赏羊祜的主张。羊祜又对张华说：“能实现我这个愿望的是你啊！”司马炎打算让羊祜卧病统领征吴诸将，羊祜说：“取吴不必我亲自参加，但平吴之后还要圣上操心去治理啊!关于功名的事，臣不敢自居。若我的一生即将完结，应当将未成事业托付他人，希望能审慎选出这个人。”
同年十一月羊祜病逝，享年五十八岁，并在临终前举荐杜预自代。
羊祜死后，举天皆哀。司马炎亲着丧服痛哭，时值寒冬，司马炎的泪水流到鬓须上都结成了冰，追赠羊祜为侍中、太傅，持节如故。
荆州百姓在集市之日闻之羊祜的死讯，罢市痛哭，街巷悲声相属，连绵不断；吴国守边将士也为之落泪。可惜羊祜无子，以兄发子篇奉祜嗣。
荆州人为了避羊祜的名讳，把房屋的“户”都改叫为“门” ，另把户曹也改为辞曹。
晋灭吴的战争结束了汉末以来长期的分裂割据状态，使中国重归一统。羊祜虽然没有亲自参加这次战争，但他为规划、准备这场战争作出了不可磨灭的贡献。
羊祜死后二年，杜预按羊祜生前的军事部署一举灭吴，完成了统一大业，当满朝文武欢聚庆贺的时候，司马炎手举酒杯，流着眼泪说：“这是羊太傅的功劳啊！”。
羊祜生前有很多著述，有名的有《晋书·羊祜传》记载的《老子传》和《请伐吴疏》，另外他还受命修撰《晋礼》、《晋律》，对晋朝典制创立多有贡献。
轶事典故
不舞之鹤
从前，羊祜家里养了一只鹤，他十分喜欢这只鹤。鹤在吃饱喝足后尽情狂舞，他向客人夸奖鹤是如何有灵性，客人前去观看，鹤因为有生人在场，怎么也不起舞，让客人大失所望，说这是一只不会跳舞的鹤。 后人用“不舞之鹤”比喻名不副实的人。
折臂三公
羊祜小时候，有一个擅长看墓穴风水的人，说羊祜的祖坟有出帝王的气象，若把墓凿开，就会断绝子嗣。羊祜真的把墓凿开了。相墓人见到凿后的墓说：“依然会出摔断了手臂的三公。”后来羊祜因落马折断了手臂，位至三公而没有子嗣。
人物评价
郭奕：此今日之颜子也。
邹湛：公德冠四海，道嗣前哲，令闻令望，必与此山俱传。
司马炎：蹈德冲素，思心清远。始在内职，值登大命，乃心笃诚，左右王事，入综机密，出统方岳。②祜固让历年，志不可夺。身没让存，遗操益厉，此夷叔所以称贤，季子所以全节也。今听复本封，以彰高美。 …
