在曾国藩被任命为团练大臣的前后，清廷在全国各地先后任命了92位团练大臣。其他人相继失败，只有曾国藩和他的湘军最终能够建功立业，这和曾国藩为何能成为湘军的核心密切相关。
朱孙诒成不了湘军之父，王錱也一样成不了湘军之父。自以为有才的王錱拒绝服从曾国藩的调配，被曾国藩果断开除之后，转投湖南巡抚，自号“老湘营”，虽然屡立战功，但很快就战败身亡。
理学修养深厚的罗泽南同样成不了湘军之父，他缺乏作为湘军统帅的名望与资历，也不具备曾国藩那样驾驭大局的气魄。关键的关键，就是缺乏将团练脱胎为“官军”（湘军）的战略谋划与前瞻眼光。正是从这个意义上说，湘军创建者的角色非曾国藩莫属。《清史稿》称罗泽南“与国藩简军实，更营制，教练历半载”，“曾国藩立湘军，则罗泽南实左右之”。显然，罗泽南只是曾国藩的帮手、辅佐。
罗泽南战死以后，曾国藩为之大书特书，又撰《罗忠节公神道碑铭》。为其表彰功绩，可以说是感情深厚所致，究其实，显然有夸大其功之嫌；同治九年（1870），开缺在家的老九致信阿兄表达自己的看法：
《罗忠节》一篇，文非不卓然可传，第作者不能不为溢美之词，而又心知其美之未至此境，下笔忸怩以誉之，故襟怀郁而不畅，形之于气，便尔阻滞。圣贤所谓不诚无物，即文章一道，亦有此理存焉[33]。
老九从文章作法中一眼看出阿兄对罗泽南的赞美并非出于真情，原因在于罗泽南没有达到文章所赞美的境界。可见后世研史者自然不能全凭时人的文章断定其历史功绩，个中曲直还得据史为凭。
作为“帮办团练大臣”，曾国藩的身份与处境是很尴尬的，然而，他深知“大抵事机之转，其始赖一二人者默运于渊深微莫之中，而其后人亦为之和，天亦为之应”[34]。事机之转变，在于自己用心谋划，然后看人和与天时、地利。果然，咸丰三年（1853）二月，曾国藩收到的批复当中，便出现了微妙的变化：“湖南筹办拨兵募勇各事宜，即着责成张亮基、潘铎会同在籍侍郎曾国藩妥为办理。”由原先曾国藩帮办，一变而成湖广总督、湖南巡抚要会同他办事，主次角色发生了明确的转变。
从咸丰三年（1853）初至八月，曾国藩移驻衡州前，“湘军”几乎没有时间训练，往往是刚刚招募到人，即派往各地或外省参加实战，忙于“救火”。
咸丰三年（1853）八月，曾国藩明知骆秉章对于自己过于揽权心有不满，有人劝其奏明朝廷，却被曾国藩拒绝。为避免与湖南地方官场产生或明或暗的冲突，曾国藩以就近搜捕衡、永、郴、桂土匪的名义，移驻衡阳。骆秉章因此改变态度，大力支持曾国藩。此时开始，曾国藩才能真正着手训练湘军。十月间，骆秉章与曾国藩函商，募得楚勇四五千名，分期挑选训练，视成效赴援湖北。
受江忠源、胡林翼的倡议，考虑到湘军出省，光有陆军缺乏水师如同缺少一条腿，曾国藩在衡阳开始募练水师。他在奏折中如此说道：
因思该匪以舟楫为巢穴，以掳掠为生涯，千舸百艘，游弈往来，长江千里，任其横行，我兵无敢过而问者。前在江西，近在湖北，凡傍水区域，城池莫不残毁，口岸莫不蹂躏，大小船只莫不掳掠，皆由舟师未备，无可如何。兵勇但保省城，亦不暇兼顾水次，该匪饱掠而去，总未大受惩创。今若为专保省会之计，不过数千兵勇，即可坚守无虞。若为保卫全楚之计，必须多备炮船，乃能堵剿兼施。……现在两湖地方，无一舟可为战舰，无一卒习于水师。……再四思维，总以办船为第一先务。臣现驻衡州，即在衡城试行赶办。[35]
除了水师外，湘军还有一支马队。
湘军专设马队，始自左宗棠之议，并非胡林翼。咸丰八年（1858）十二月初七，曾国藩致左宗棠信中表示：“来示欲弟讲求马队，诚为要指，此事弟夙来究心”[36]，“鄂省事非马队不济，诚如尊见”[37]。此时湘军刚刚经历三河惨败，胡林翼回湘奔丧未归，导致救援不及时，湘军得力干将李续宾与其亲家曾国华双双战死。曾国藩在给骆秉章的信中明确提及是左宗棠提议设马队，左公亦致书胡林翼提议设马队。
随后不久，曾国藩复信胡林翼、李续宜，谈到“江北军务，非数千马队不为功。顷与李少荃议，可调察哈尔马三千匹……而亳州一带有善马之勇可募，名曰马勇”[38]。曾国藩的意图是调蒙古马配安徽勇士，考虑到骑马并非湖南人的擅长，准备让李鸿章去招募并操练。
此后曾国藩多次提出，欲整顿陆军，则不得不添设马队。他与左宗棠的信中也反复提到马队的重要性，并明言由胡林翼上奏。胡林翼也充分意识到“马队便于驰骤”、机动性强的特点，言及“马队一可抵步兵四五，是添二千人，已抵五千、六千之步队矣”[39]。
曾国藩也告诉左宗棠，准备“以教练自任”[40]。咸丰九年（1859）正月，曾国藩的第一道奏折便是请求添练马队，“往岁在军，未闻贼匪能用马队。近闻粤匪常以马队冲锋，捻匪则马队尤多。李续宾三河之败，即系贼马数千，为湘军向来所未见。昨吴国佐景德镇之挫，亦为贼马所眩”。
显然，三河之败是刺激湘军将领重视马队的关键时刻。曾国藩表示：
东三省马队，天下劲旅，根本所在，不敢多为奏调。臣与湖北督臣、抚臣缄商，拟由官文等奏调察哈尔马三千匹，请旨饬上驷院押解来南。颍、亳一带，有善骑之勇可募，名曰马勇。应即添练新马队二千余骑，与都兴阿之旧队，相辅而行。于九江、湖口等处，择平原旷野，驰骋而操习之。惟以南人而骑北马，以勇丁而学弓箭，非仓卒所能奏效。臣愿竭数月之力，朝夕讲求，从容训练，期于成熟而止。练成之后，以二千匹交江北隶都兴阿、舒保等麾下，以五百匹交江南隶臣麾下，以壮步军之气，而寒贼党之胆。余剩马匹，游牧于黄州。鞍辔等具，设局于九江，以备随时添补更换之用。兹事若成，皖豫等省军务可期大有起色。[41]
他考虑到“南人使马不甚精熟”，特意请旨于京师健锐营、内外火器营中选调“精练弓马、曾经战阵”之人“来营教练”或直接带队，同时保荐郭嵩焘、李榕等得力文员赴营帮办。
然而，北京毫无实际动作，后来又将马队之事交与都兴阿办理，“禀调马匹类皆倒毙，徒靡费而无适于用”，饬令其自行筹款购马。因此，曾国藩意识到，“早迟终须以南勇习北骑，不如早动手一日，多一日之阅历也”[42]，遂自发练习马队。
咸丰九年（1859）二月，曾国藩亲自督导部将张运兰于实战中演习马队，批札写道：
操练马队之法，马上能使鸟枪者为上，能使弓矢者次之，若仅能使大刀，则技之下者，无能为也。景镇贼马，闻仅能使大刀，若我军临脚不动，进退有法，枪炮有准，不过打中数马，则百马反奔矣。官军自腊月十九以来，为贼所慑，士卒之志先怯，是怯贼也，非怯马也。今欲练马队以御之，亦是要著。但须操习纯熟，操控如意，乃可试之。若马劣人拙，为贼所笑，则反贻画虎类狗之讥。仰就平前宝祥等营中，择善骑者，试行操习，共得若干名，禀名核夺，俟七月以后，鄂省采买口马到后，再行认真多操可也。[43]
九月，曾国藩“日内操习土马队，颇有兴趣”。十月，曾国藩“颇于土马队上用些功夫”，“不能不以全力习土马队也”。[44]湘军马队之操练不久取得成效，咸丰十年（1860）正月，曾国藩前往太湖督战，新设马队“日夜梭探”，倚为拒敌之军。二月，湘军马队赴东路放哨，屡次得胜。曾国藩称许马队之功，云：“马队放哨捉贼杀贼，是一极快心事，足以少救东路掳粮之风。”
曾国藩初定马军营制二十则，即“四人为棚，六人为哨，十哨为一营。哨官十人，正勇二百四十人，营官领之。营官有帮办、字识各一人，亲兵八人，俱有夫马。先锋官五人为棚，夫马如之”。不久，曾国藩于马队中设步队，计步队什长一人，步队亲兵十人，共一棚，专备差遣及守营之用；公长夫四十人，专运军械草料。[45]可以说，湘军马队的缔造者也是曾国藩，从筹备到训练都付出了巨大的努力。但是，马队的使用是有局限性的，皖南多山，基本不适合马队；皖北开阔，马队确实发挥了重要功效。
陆军、水师和马队，先后应时而出，可见湘军的构建不是一朝一夕的事，而是一个比较长期的过程。湘军的成功虽说是天缘凑泊，但没有曾国藩兄弟，历史不会是这般面目。