现在天下归服于晋已经八年，天子虽坐于侧席以延揽贤才，乡鄙贱人无所遗漏，然而臣不能推举有德之人，引荐有功之士，使陛下知道胜过臣的人还多，没有进入仕途的贤人还不少。假若还有像傅说那样的贤人被遗忘在筑墙者的行列，有像吕尚那样的才士被遗忘在屠市垂钓的场所，而朝中议事者不以枉用臣为非，臣居高位而又无愧，这样不是损失太大了吗？臣窃居官位虽然很久，从未像今天这样兼任文武要职受朝廷信任，居等同宰相的高位。况且，臣所见虽然狭小，光禄大夫李熹有高风亮节，行为公允正直；光禄大夫鲁芝，洁身寡欲，与人和谐而不苟同；光禄大夫李胤，清廉简朴而坦诚，身在朝廷，效力国家，守君臣之礼至老不渝。
他们虽历任内外要职，而清廉简朴如贫寒人家，但都没有荣获我这样的宠位，臣超过他们，怎能满足天下人的期望，稍增日月之光呢？因此，臣决心守此臣节，不愿苟得高位。当今天下统一的道路尚未畅通，边陲战事时有发生，乞求保持原来的职务，使臣能迅速回到荆州屯垦戍边，不然的话，在京城留连日久，必然于对付敌国方面考虑不周。匹夫之志，有时也不可强夺。”
但朝廷未同意他的辞让。这一年，羊祜四十九岁。
西陵之战
泰始六年（270年），吴国在荆州的都督换上了名将陆抗。陆抗到荆州后，注意到西晋的动向，立即上疏给吴主孙皓。陆抗对荆州的形势表示忧虑，提醒孙皓不要盲目迷信长江天堑，应该认真备战。他把自己的想法归纳为十七条建议，请求实行。
陆抗的到来，引起羊祜的警惕和不安。因此，他一面加紧在荆州进行军事布置；一面向司马炎密呈奏表。密表建议，伐吴战争必须利用长江上游的便利条件，在益州（今四川地区）大办水军。
泰始八年（272年）八月，吴主孙皓解除西陵（今湖北宜昌）督步阐的职务。步阐因害怕被杀，拒绝返回建邺，当年九月，献城降晋。陆抗闻讯，立即派兵围攻西陵（参见西陵之战）。晋武帝命令羊祜和巴西监军徐胤各率军分别攻打江陵（今湖北江陵）和建平（今四川巫县），从东西两面分散陆抗的兵力，以实现由荆州刺史杨肇直接去西陵救援步阐的计划。但陆抗破坏了江陵以北的道路，五万晋军粮秣的运输发生困难，再加上江陵城防坚固，不易攻打，羊祜顿兵于城下，不能前进。杨肇兵少粮悬，被陆抗击败，步阐城陷族诛。
有司上奏说：“羊祜率军八万多，吴军不过三万，羊祜在江陵按兵不前，使贼兵备好攻守战具。并只派杨肇这支偏师深入险地，兵少而粮草不继，致使我军失利。羊祜违背诏命，没有大将节操，应免去官职，保留侯爵回府第闲居。”结果，羊祜因此被贬为平南将军，杨肇则被贬为平民。
羊陆之交
西陵救援失利后，羊祜总结教训认识到：吴国的国势虽已衰退，但仍有一定的实力，特别是荆州尚有陆抗这样的优秀将领主持军事，平吴战争不宜操之过急。于是，他采取军事蚕食和提倡信义的两面策略，以积蓄实力，瓦解对方，寻找灭吴的合适时机。
鉴于历史上孟献子经营武牢而郑人畏惧，晏弱筑城东阳而莱子降服的经验，羊祜挥兵挺进，占据了荆州以东的战略要地，先后建立五座城池。并以此为依托，占据肥沃土地，夺取吴人资财。于是，石城以西均晋国占有，吴人来降者源源不绝。 羊祜于是实施怀柔、攻心之计。在荆州边界，羊祜对吴国的百姓与军队讲究信义，每次和吴人交战，羊祜都预先与对方商定交战的时间，从不搞突然袭击。对于主张偷袭的部将，羊祜用酒将他们灌醉，不许他们再说。有部下在边界抓到吴军两位将领的孩子。羊祜知道后，马上命令将孩子送回。后来，吴将夏详、邵颉等前来归降，那两位少年的父亲也率其部属一起来降。吴将陈尚、潘景进犯，羊祜将二人追杀，然后，嘉赏他们死节而厚礼殡殓。两家子弟前来迎丧，羊祜以礼送还。吴将邓香进犯夏口，羊祜悬赏将他活捉，抓来后，又把他放回。邓香感恩，率其部属归降。羊祜的部队行军路过吴国边境，收割田里稻谷以充军粮，但每次都要根据收割数量用绢偿还。打猎的时候，羊祜约束部下，不许超越边界线。如有禽兽先被吴国人所伤而后被晋兵获得，他都送还对方。羊祜这些作法，使吴人心悦诚服，十分尊重他，不称呼他的名字，只称“羊公”。
对于羊祜的这些作法，陆抗心中很清楚，所以常告诫将士们说：“羊祜专以德感人，如果我们只用暴力侵夺，那就会不战而被征服的。我们只保住边界算了，不要为小利而争夺侵扰。”因此，在很长的一段时间里，晋、吴两国的荆州边线处于和平状态。羊祜与陆抗对垒，双方常有使者往还。陆抗称赞羊祜的德行度量，“虽乐毅、诸葛孔明不能过也”。一次陆抗生病，向羊祜求药，羊祜马上派人把药送过来，并说：“这是我最近自己配制的药，还未服，听说您病了，就先送给您吃。”吴将怕其中有诈，劝陆抗勿服，陆抗不疑，并说：“羊祜怎会用毒药害人呢”仰而服下。当时人都说，这可能是春秋时华元、子反重见了。 吴主孙皓听到陆抗在边境的做法，很不理解；就派人斥责他。陆抗回答：“一乡一镇之间，不能不讲信义，何况一个大国呢？如我不讲信义，正是宣扬了羊祜的德威，对他毫无损伤。”孙皓无言以对。
人生憾事
羊祜在边境，德名素著，可在朝中，却每遭诋毁。他正直忠贞，嫉恶如仇，毫无私念，因而颇受荀勖、冯紞等人忌恨。王衍是他的堂甥，曾来见他陈说事情，言辞华丽，雄辩滔滔。羊祜很不以为然，王衍拂衣而去。羊祜对宾客说：“王夷甫方以盛名处大位，然败俗伤化，必此人也”。西陵之战，羊祜曾要按军法处斩王戎。所以，王戎、王衍都怨恨他，言谈中常常攻击他。当时人说：“二王当国，羊公无德”。
咸宁二年（276年）十月，司马炎改封羊祜为征南大将军，恢复其贬降前的一切职权，开府仪同三司，可以自行辟召僚佐。当初羊祜便认为，要想伐吴，必须凭借长江上游的有利地势。当时吴国有童谣：“阿童复阿童，衔刀浮渡江，不畏岸上兽，但畏水中龙。”羊祜听后便说：“这一定是说伐吴必是水军成功，只是要考虑哪个人应童谣中的名字。”正逢益州刺史王濬被征召任大司农。羊祜发现王濬的才能可当重任，而王濬的小字又是“阿童”，正应了童谣之言。而当时在西晋朝廷内部，王濬是个有争议的人物。羊祜极力肯定王濬的军事才能，主张济其所欲，充分发挥他的才能。
羊祜本人也命令部将缮甲训卒，广为戎备。经过七年的练兵和各项物质准备，荆州边界的晋军实力远远超过了吴军，而两年前吴军主帅陆抗病死，吴国境内又因为吴主孙皓的高压统治使各种矛盾日益激化。这表明晋灭吴的条件和时机已经成熟。
羊祜不失时机的上疏请求伐吴，奏疏说：“先帝顺应天意人心，西平巴蜀，南和孙吴，海内百姓得以休养生息，人心安乐。而吴背信弃约，使边境又生战事，国家气数虽是天定，而功业必靠人为，不灭东吴，则士卒百姓无安宁之日。完成统一大业，也是光大先帝功勋，实现无为而治的举措。尧伐丹水，舜征三苗，都是以使宇内安宁，停止兵乱，民众和睦为目的的。当年平蜀之时，天下人都以为应当一并灭吴，而蜀灭至今已十三年，这算一个周期，灭吴的日子应在今天了。
而议论此事者常说吴楚在盛世最后被征服，在乱世最先强盛，这是诸侯纷争的时候，当今天下一统，不得与古时并论。有些说法只适用于大道理而不知权变，所以出谋略的人很多，而可以作为决策的就少了。凡是凭险阻而得生存的国家，是指它的实力与敌国相差不多，有力量固守。如地位轻重不同，强弱相差很大，那智士的计谋也不能救它。险阻的地势也不能保它。蜀国地势不是不险要，高山上接云霓，深谷不见日月，关隘险道，束马悬车方能通过，有一夫操戈，千人莫挡之势。
然而灭蜀进军时，蜀国好像连一道篱笆都没有，我军斩将夺旗，斩杀敌军数万，乘胜席卷蜀地，直捣成都城下，汉中一带的蜀兵，像鸟栖于巢一样不敢出动。这也并非蜀人不愿战，实在是力量不足与我军抗衡。到刘禅投降时，蜀地各营垒官兵便悄然四散。目前江淮的难渡不会超过剑阁，山川的险要不会超过岷山汉水，孙皓的暴虐超过刘禅，吴人的贫困甚于巴蜀，而大晋的军队多于前世，军饷兵械多于往日。不趁此机会平吴，而屯兵据险相守，使士兵役夫日夜辛苦于战争徭役，旷日持久。…
