曹仁撤走之后，刘贤抑郁了许久方才缓了过来。因江陵被周瑜夺取，大江南岸阵地也多在孙、刘联军手中，刘贤思前想后，觉得油江口已无守卫的必要，于是将船只全部调到罗县，交由傅彤、胡博看管，随后弃了油江口大营，尽起大军，退守孱陵县城去了。
此时张飞已经养好了伤，刘备本欲进兵攻打刘贤，但又自忖兵力不足，有心想要调关羽、赵云的兵马南下，又恐抽调了兵力之后，自己所占据的南郡地区兵力薄弱，从而被襄阳曹军，或者江陵周瑜趁虚而入，夺了南郡诸县。
要知道刘备此时虽然困窘，但却心怀大志，心知欲图大事，南郡至关重要。无论是北伐中原，还是西取巴蜀，南郡都是不可或缺的前进基地。虽然江陵此时落入了周瑜手中，但刘备也趁曹军北撤之机拿下了当阳、华容、临沮等处，加上原有的旌阳等地，刘备在南郡的势力并不比周瑜弱。
刘备阴怀夺南郡之心，以己度人，自然也担心周瑜谋夺自己的地盘。
但不从南郡调兵，本部的兵力又远少于刘贤，正犹豫不决，荆州地区突然发生了两件大事。
第一件是益州牧刘璋所任命的秭归守将袭肃突然率兵投降周瑜。
秭归乃是荆州土地，守将原是李严，后曹操南下，刘琮投降，李严不愿投降曹操，于是转而归附刘璋。刘璋任命李严为成都令，另派袭肃率兵三千驻守秭归。今袭肃见周瑜击败曹操，夺取了江陵，声威大振，故而心生怯意，举兵投降周瑜。如此一来，江东军西进夺取益州的道路陡然顺畅了。
第二件是刘琦突然病死了。
刘琦身体本来不好，又接连遭逢父亲死亡，夺嫡失败，曹操南下等一连串重大事故，整日里郁结于心，又沉迷女色，身体一日弱过一日，终于在曹仁撤走之后，心神松懈之下，突然病亡。
刘琦一死，刘备顿时失去了招揽荆襄民心的一面旗帜，形势变得有些不妙起来。无奈之下，刘备只得自领荆州牧，随后任命糜芳为江夏太守，直接吞并了刘琦的军队地盘，又任命关羽为襄阳太守，张飞为宜都太守，管辖南郡西南部地区，刘磐为长沙太守，樊建为桂阳太守，豫州汝南人陈化为武陵太守，其余糜竺、简雍、孙乾、伊籍、马良、张存、习祯，习竺，向朗、潘叡等人各为治中、别驾、军师、从事，人人皆有任用，尽皆喜悦。
除了周瑜的南郡和刘贤父亲刘度的零陵之外，刘备一举将荆州地区给封了个遍。
周瑜在江陵闻之，当即大怒，喝道：“我军糜费钱粮，逼走了大敌曹仁，他倒来享现成，实是可恨！”
阚泽道：“刘备继刘琦而领荆州，明正言顺，都督何必动怒？”
周瑜喝道：“刘备又不是刘表、刘琦的儿子，怎算名正言顺？刘琦在时，我还顾忌三分，今刘琦已死，荆州便是无主之地，该当有德者居之。我当上表主公，也册封各郡太守，与刘备相争。”
于是周瑜写了表文，星夜差人送给孙权。
此时孙权正在濡须与曹操相持，形势已经稳定，双方谁也奈何不了谁。如今荆州战事完结，孙权也不想在淮南与曹操纠缠了，于是写了一封信送给曹操，信中隐有罢兵之意。曹操也顾忌江东水军强横，如今稳固了淮南防线，再想前进，必要与江东军水战，这让曹操有些没有底气，于是看信之后，顺水推舟，大笑而退兵。
曹孙之间第一次淮南之战就此结束。
孙权遣将分别镇守濡须坞、横江坞、皖城、广陵县城一线，随后退兵至京口，忽接到周瑜表文，当即大怒。于是表周瑜为南郡太守，孙瑜为长沙太守，吕蒙为零陵太守，潘章为桂阳太守，加上前面已经封了黄盖为武陵太守，程普为江夏太守，一下子也从名义上将荆州除南阳郡以外的所有地方全部占尽。
孙、刘之间的形势陡然间变得微妙了起来。
双方就这么僵持了大半个月，终于还是刘备先撑不住了。刘备如今虽然兵多将广，有本部一万二千人，关羽一万人，赵云八千人，吞并的刘琦大军一万人，依附的刘磐二千人，沙摩柯投奔时带来的三千人，合计足有四万五千余人。但却地盘狭小，只有半个江夏和半个南郡，且都经过经年大战，十分疲弊，收来的钱粮赋税根本不足以养兵。与孙权联合之时，还能厚着脸皮请江东支援些粮草，如今双方隐隐对峙，周瑜自然断了刘备军的供应，刘备顿时就开始觉得难受了。
思前想后，刘备果断认怂，写信给孙权，表示愿意表奏孙权为徐州牧，并用江夏郡数县之地换取南郡江陵、夷陵、枝江、秭归等地。请孙权为了两家和好，承认自己荆州牧的地位。
孙权看信之后，颇有些心动，不过因素来敬重周瑜，故而不敢擅专，派遣使者询问周瑜意见。周瑜回复道：“荆州四战之地，十分紧要，南郡地处荆州之中，更是紧要十倍，江陵又在南郡中央，乃是非守不可的战略要地。占据江陵，北上可图襄樊，进取中原，西进可图巴蜀，南下可得四郡，威逼交州，东向可护翼江东，如此重地，岂可轻弃？且江夏大半已在我手，剩下江北部分虽被刘备占据，但却夹在我军与曹军之间。刘备若能保守此地，正好可为我抵挡曹操，若是不能保守，此数县也终将为我所得，何必与之交换？主公所虑，不过刘备兵多，深得荆州士民之心，兼且关、张、赵等英勇无敌尔。既如此，可与刘备互尊州牧，令其自取南四郡可也。我军便可趁其南下，保守江陵，砺练士卒，待时机成熟便西取巴蜀，巴蜀若定，则主公霸业可成也。”
孙权看完信后大喜，于是回绝了刘备求取江陵的要求，不过却也表示愿意表奏刘备为荆州牧。
刘备虽心下不甘，却也无可奈何，且孙权总算是承认了自己荆州牧的地位，也算是大有收获。双方在荆州剑拔弩张的关系顿时大为缓和。而正在此时，原本伤势大为好转的周瑜突然箭疮复发，再次发热昏迷，孙权大惊之下强行将周瑜接回柴桑养兵，江陵军务交托于吕蒙代管。
刘备闻听周瑜离开了，心下大松了口气，当即命关羽率领周仓、关平、廖化、雷绪等将镇守旌阳、汉津，随后从江夏、旌阳等处抽调了一万兵马，由赵云率领着南下，至油江口会合。
至此，刘备在荆南的兵力达到了二万七千人，于是将油江口改名为公安，在此修筑了一座小城作为自己的大本营，留傅士仁守卫。刘备尽起大军，携带张飞、赵云、陈到、马良、向朗、张存等文武将校，南下攻打孱陵，又传令刘磐，叫他袭击巴丘、罗县。
此时的刘贤也趁着这段空闲时间将军务梳理了一下。自石韬、司马芝、荀立走后，刘贤又依照刘巴的指点，征召了廖立为行军长史，蒋琬为行军司马，刘敏为参军，刘邕为仓槽橼，总算是勉强补足了军中文吏。
但饶是如此，文士数量依旧不足。刘贤目前的官职是镇南将军、都督荆南四郡军事，也就是需要两套班子，一套处理军队事务，一套负责与四郡协调沟通。
可惜由于缺少人手，刘贤只得将一套班子当做两套用，驱使着廖立、蒋琬、刘敏、刘邕等人每日努力干活，刘贤都感觉自己变成了一个万恶的资本家了。
文士的事情急不来，刘贤只能慢慢留心招揽，军队的调整却是耽误不得了。
刘贤如今分布在各处的兵马有三万一千余人，除开相虎、苗瓠率领的一万蛮兵之外，还有两万余人，各将领统兵数量不一，不太方便指挥。于是刘贤以荆南都督的身份，将各将校的职务做了调整。依照旧有军制以千人为一部，设司马统领，其最精锐的主力，则以校尉统领一部。随后是中郎将、裨将军、偏将军和杂号将军。中郎将领一营，有二部兵，两千人。裨将军领一营，有三部兵，三千人。偏将军领一营，有五部兵，五千人。杂号将军为加封官号，不常置，领兵不定。
目前刘贤为镇南将军，麾下并无杂号将军。于是升黄忠为偏将军，吕介、胡济为裨将军，霍峻、傅彤、张南、冯习为中郎将，郝昭、张著、胡博为校尉。一众将校，俱有封赏，尽皆喜悦。
封完了众将，却漏掉了史阿、侯成和邢道荣。就见邢道荣觍颜笑道：“他们都封为将军，少主怎么不封我？以我的本领，怎么也该封个大将军吧！”
刘贤没好气地喝道：“你是零陵郡上将，非我直属，我岂能擅自加封于你？”说着转头对史阿、侯成道：“二人都是朝廷大将，我也不好加封，当上表丞相，细述二位功劳，想必丞相必会有封赏下来。在此之间，暂时委屈史阿师傅做我的亲卫将，侯成将军协助训练蛮兵。”
史阿、侯成连忙领命。
一切安排妥当，忽听城门守军来报：“城外有一将，领兵千余来到城下，自称是奉了前荆南宣抚使桓阶之命前来效力。”
刘贤道：“你可问明了他的姓名？”
城门守军道：“那人自称姓魏，名延，字文长，南阳义阳人。”
刘贤闻言顿时大喜过望。