泰始五年(269年)，司马炎除任命大将军卫瓘、司马伷分镇临淄、下邳，加强对孙吴的军事布置以外，又特地调任羊祜为荆州诸军都督，假节，并保留他散骑常侍、卫将军原官不变。 当时，西晋和孙吴各有一个荆州，形成南北对峙局面。西晋的荆州包括今天的陕西、河南的一小部分和湖北北部地区。吴国的荆州则有今天的湖北和湖南的大部分地区。晋吴间的边界线以荆州为最长，所以这里是灭吴战争的关键地区。 羊祜到任后，发现荆州的形势并不稳固。不但百姓的生活不够安定，就连戍兵的军粮也不充足。于是，羊祜首先把精力放在开发荆州方面。羊祜大量开办学校，兴办教育，安抚百姓，怀来远人。并与吴国人开诚相待，凡投降之人，去留可由自己决定。还禁止拆毁旧官署。当时风俗，官长如果死在官署之中，后继者便说居地不吉，往往拆毁旧府，另行修建。羊祜认为，死生有命，不在居室，命令下属，一律禁止。最主要的是设计使吴国撤掉了对襄阳威胁最大的石城驻军，吴国石城驻军离襄阳七百多里，常常侵扰边境。羊祜深以为患，于是巧用计谋，使吴国撤销了守备。然后羊祜他把军队分作两半，一半执行巡逻戍守的军事任务，一半垦田。当年，全军共垦田八百余顷。羊祜刚来时，军队连一百天的粮食都没有，到后来，粮食积蓄可用十年。 羊祜的这些措施迅速地安定了荆州的社会秩序，增强了军队的战斗力。晋武帝为表彰他的功绩，下令取消江北所有的都督建置，授予羊祜南中郎将的职务，负责指挥汉东江夏地区的全部军队。 羊祜在军中，常穿着轻暖的皮裘，系着宽缓的衣带，不穿铠甲。铃阁之下，应命侍卫的士卒也不过十几个人。并且，喜欢打猎钓鱼，常常因此荒废公务。有一天夜晚，他想出营，军司马徐胤手持柴戟挡住营门说：“将军都督万里，安可轻脱 ！将军之安危，亦国家之安危也。胤今日若死，此门乃开耳”(《晋书·羊祜传》)。羊祜正色改容，连连道歉，从此很少外出。 不久，羊祜又被加封为车骑将军，并受到开府如三司之仪的特殊待遇。羊祜上表固辞：“臣伏闻恩诏，拔臣使同台司。臣自出身以来，适十数年，受任外内，每极显重之任。常以智力不可顿进，恩宠不可久谬，夙夜战悚，以荣为忧。臣闻古人之言，德未为人所服而受高爵，则使才臣不进；功未为人所归而荷厚禄，则使劳臣不劝。今臣身托外戚，事连运会，诫在过宠，不患见遗。而猥降发中之诏，加非次之荣。臣有何功可以堪之，何心可以安之。身辱高位，倾覆寻至，愿守先人弊庐，岂可得哉！违命诚忤天威，曲从即复若此。盖闻古人申于见知，大臣之节，不可则止。臣虽小人，敢缘所蒙，念存斯义。今天下自服化以来，方渐八年，虽侧席求贤，不遗幽贱，然臣不尔推有德，达有功，使圣听知胜臣者多，未达者不少。假令有遗德于版筑之下，有隐才于屠钓之间，而朝议用臣不以为非，臣处之不以为愧，所失岂不大哉！臣忝窃虽久，未若今日兼文武之极宠，等宰辅之高位也。且臣虽所见者狭，据今光禄大夫李憙执节高亮，在公正色；光禄大夫鲁芝洁身寡欲，和而不同；光禄大夫李胤清亮简素，立身在朝，皆服事华发，以礼终始。虽历位外内之宠，不异寒贱之家，而犹未蒙此选，臣更越之，何以塞天下之望，少益日月！是以誓心守节，无苟进之志。今道路行通，方隅多事，乞留前恩，使臣得速还屯。不尔留连，必于外虞有阙。匹夫之志，有不可夺”(《晋书·羊祜传》)。但朝廷未同意他的辞让。这一年，羊祜四十九岁。 泰始六年(270年)，吴国在荆州的都督换上著名的军事家陆抗。陆抗到荆州后，注意到西晋的动向，立即上疏给吴主孙皓。陆抗对荆州的形势表示忧虑，提醒孙皓不要盲目迷信长江天堑，应该认真备战。他把自己的想法归纳为十七条建议，请求实行。陆抗的到来，引起羊祜的警惕和不安。因此，他一面加紧在荆州进行军事布置；一面向晋武帝密呈奏表。密表建议，伐吴战争必须利用长江上游的便利条件，在益州(今四川地区)大办水军。
　　泰始八年(272年)八月，吴主孙皓解除西陵(今湖北宜昌)督步阐的职务。步阐因害怕被杀，拒绝返回建邺，当年九月，献城降晋。陆抗闻讯，立即派兵围攻西陵(参见西陵之战)。晋武帝命令羊祜和巴西监军徐胤各率军分别攻打江陵(今湖北江陵)和建平(今四川巫县)，从东西两面分散陆抗的兵力，以实现由荆州刺史杨肇直接去西陵救援步阐的计划。但陆抗破坏了江陵以北的道路，5万晋军粮秣的运输发生困难，再加上江陵城防坚固，不易攻打，羊祜顿兵于城下，不能前进。杨肇兵少粮悬，被陆抗击败，步阐城陷族诛。有司上奏说：“祜所统八万余人，贼众不过三万。祜顿兵江陵，使贼备得设。乃遣杨肇偏军入险，兵少粮悬，军人挫衄。背违诏命，无大臣节。可免官，以侯就第”(《晋书·羊祜传》)。结果，羊祜因此被贬为平南将军，杨肇则被贬为平民。 西陵救援失利后，羊祜总结教训认识到：吴国的国势虽已衰退，但仍有一定的实力，特别是荆州尚有陆抗这样的优秀将领主持军事，平吴战争不宜操之过急。于是，他采取军事蚕食和提倡信义的两面策略，以积蓄实力，瓦解对方，寻找灭吴的合适时机。鉴于历史上孟献子经营武牢而郑人畏惧，晏弱筑城东阳而莱子降服的经验，羊祜挥兵挺进，占据了荆州以东的战略要地，先后建立五座城池。并以此为依托，占据肥沃土地，夺取吴人资财。于是，石城以西均晋国占有，吴人来降者源源不绝。 羊祜于是实施怀柔、攻心之计。在荆州边界，羊祜对吴国的百姓与军队讲究信义，每次和吴人交战，羊祜都预先与对方商定交战的时间，从不搞突然袭击。对于主张偷袭的部将，羊祜用酒将他们灌醉，不许他们再说。有部下在边界抓到吴军两位将领的孩子。羊祜知道后，马上命令将孩子送回。后来，吴将夏详、邵颉等前来归降，那两位少年的父亲也率其部属一起来降。吴将陈尚、潘景进犯，羊祜将二人追杀，然后，嘉赏他们死节而厚礼殡殓。两家子弟前来迎丧，羊祜以礼送还。吴将邓香进犯夏口，羊祜悬赏将他活捉，抓来后，又把他放回。邓香感恩，率其部属归降。羊祜的部队行军路过吴国边境，收割田里稻谷以充军粮，但每次都要根据收割数量用绢偿还。打猎的时候，羊祜约束部下，不许超越边界线。如有禽兽先被吴国人所伤而后被晋兵获得，他都送还对方。羊祜这些作法，使吴人心悦诚服，十分尊重他，不称呼他的名字，只称“羊公”。 对于羊祜的这些作法，陆抗心中很清楚，所以常告诫将士们说：“彼专为德，我专为暴，是不战而自服也。各保分界而已，无求细利”(《晋书·羊祜传》)。因此，在很长的一段时间里，晋吴两国的荆州边线处于和平状态。 羊祜与陆抗对垒，双方常有使者往还。陆抗称赞羊祜的德行度量，“虽乐毅、诸葛孔明不能过也”(《晋书·羊祜传》)。一次陆抗生病，向羊祜求药，羊祜马上派人把药送过来，并说：“这是我最近自己配制的药，还未服，听说您病了，就先送给您吃。”吴将怕其中有诈，劝陆抗勿服，陆抗不疑，并说：“羊祜岂鸩人者”(《晋书·羊祜传》)！仰而服下。当时人都说，这可能是春秋时华元、子反重见了。 吴主孙皓听到陆抗在边境的做法，很不理解；就派人斥责他。陆抗回答：“一邑一乡，不可以无信义，况大国乎！臣不如此，正是彰其德，于祜无伤也”(《晋书·羊祜传》)。孙皓无言以对。 羊祜在边境，德名素著，可在朝中，却每遭诋毁。他正直忠贞，嫉恶如仇，毫无私念，因而颇受荀勖、冯紞等人忌恨。王衍是他的堂甥，曾来见他陈说事情，言辞华丽，雄辩滔滔。羊祜很不以为然，王衍拂衣而去。羊祜对宾客说：“王夷甫方以盛名处大位，然败俗伤化，必此人也”(《晋书·羊祜传》)。
　　西陵之战，羊祜曾要按军法处斩王戎。所以，王戎、王衍都怨恨他，言谈中常常攻击他。当时人说：“二王当国，羊公无德”(《晋书·羊祜传》)。 咸宁二年(276年)十月，晋武帝改封羊祜为征南大将军，恢复其贬降前的一切职权，开府仪同三司，可以自行辟召僚佐。当初羊祜便认为，要想伐吴，必须凭借长江上游的有利地势。当时吴国有童谣：“阿童复阿童，衔刀浮渡江，不畏岸上兽，但畏水中龙”(《晋书·羊祜传》)。羊祜听后，说：“此必水军有功，但当思应其名者耳”(《晋书·羊祜传》)。正逢益州刺史王浚被征召任大司农。羊祜发现王浚的才能可当重任，而王浚的小字又是“阿童”，正应了童谣之言。而当时在西晋朝廷内部，王浚是个有争议的人物。羊祜极力肯定王浚的军事才能，主张济其所欲，充分发挥他的才能。