羊祜的这些措施迅速地安定了荆州的社会秩序，增强了军队的战斗力。司马炎为表彰他的功绩，下令取消江北所有的都督建置，授予羊祜南中郎将的职务，负责指挥汉东江夏地区的全部军队。
羊祜在军中，常穿着轻暖的皮裘，系着宽缓的衣带，不穿铠甲。铃阁之下，应命侍卫的士卒也不过十几个人。
不久，羊祜又被加封为车骑将军，并受到开府如三司之仪的特殊待遇。
羊祜上表固辞。
但朝廷未同意他的辞让。这一年，羊祜四十九岁。
…………
泰始六年(270年)，吴国在荆州的都督换上了名将陆抗。
陆抗的到来，引起羊祜的警惕和不安。因此，他一面加紧在荆州进行军事布置；一面向司马炎密呈奏表。密表建议，伐吴战争必须利用长江上游的便利条件，在益州(今四川地区)大办水军。
泰始八年(272年)八月，吴主孙皓解除西陵(今湖北宜昌)督步阐的职务。步阐因害怕被杀，拒绝返回建邺，当年九月，献城降晋。
陆抗闻讯，立即派兵围攻西陵。
晋武帝命令羊祜和巴西监军徐胤各率军分别攻打江陵(今湖北江陵)和建平(今四川巫县)，从东西两面分散陆抗的兵力，以实现由荆州刺史杨肇直接去西陵救援步阐的计划。
但陆抗破坏了江陵以北的道路，五万晋军粮秣的运输发生困难，再加上江陵城防坚固，不易攻打，羊祜顿兵于城下，不能前进。
杨肇兵少粮悬，被陆抗击败，步阐城陷族诛。
有司上奏说，“羊祜违背诏命，没有大将节操，应免去官职，保留侯爵回府第闲居。”
结果，羊祜因此被贬为平南将军，杨肇则被贬为平民。
…………
西陵救援失利后，羊祜总结教训，采取军事蚕食和提倡信义的两面策略，以积蓄实力，瓦解对方，寻找灭吴的合适时机。
鉴于历史上孟献子经营武牢而郑人畏惧，晏（ya
）弱筑城东阳而莱子降服的经验，羊祜挥兵挺进，占据了荆州以东的战略要地，先后建立五座城池。并以此为依托，占据肥沃土地，夺取吴人资财。
于是，石城以西均晋国占有，吴人来降者源源不绝。
羊祜于是实施怀柔、攻心之计。
吴将邓香进犯夏口，羊祜悬赏将他活捉，抓来后，又把他放回。
邓香感恩，率其部属归降。
羊祜的部队行军路过吴国边境，收割田里稻谷以充军粮，但每次都要根据收割数量用绢偿还。
打猎的时候，羊祜约束部下，不许超越边界线。如有qín_shòu先被吴国人所伤而后被晋兵获得，他都送还对方。
羊祜这些作法，使吴人心悦诚服，十分尊重他，不称呼他的名字，只称“羊公”。