咸丰四年（1854）正月，身为团练大臣的曾国藩奉旨不能专顾湖南，须通筹全局。数次诏书催促下，从衡阳起程，会水陆二师于湘潭，发布《讨粤匪檄》，誓师东征。
湘军的实力为陆勇五千人，以塔齐布、周凤山、朱孙诒、储玫躬、林源恩、邹世琦、邹寿璋、杨名声、曾国葆为营官，塔齐布为诸将先锋；水师十营，分前后左右中，以禇汝航、夏銮、胡嘉垣、胡作霖、成名标、诸殿元、杨载福、彭玉麟、邹汉章、龙献琛为营官，禇汝航为各营总统。合夫役在内共计一万七千余人。
这是一支奇特的军队。营官中有好几位知县：湘乡知县朱孙诒、平江县知县林源恩（1856年战死于抚州）、善化县知县李瀚章（李鸿章的大哥、奏调办理粮台）、耒阳县知县陈鉴源（随营办事）及禇汝航（广西候补同知，1854年战死于岳阳）、夏銮（广西知县，1854年战死于岳阳）。一位县教育局长储玫躬，系武陵县训导（1854年战死于宁乡），二位诸生是彭玉麟、曾国葆。有三位邹姓营官，其中两位是地理学家，邹汉章（1861年战死）、邹世琦（邹汉章之侄），他们和邹汉勋（地理学家，已随同江忠源出征，1854年战死于安徽）同属于新化舆地世家；另一位邹寿璋是长沙县监生（1863年病死浙江军中）。还有一位商人，胡嘉垣。胡作霖、龙献琛身份不明。武人出身的只有塔齐布（游击兼参将衔）、周凤山（守备）、杨载福（千总，后改名杨岳斌）、诸殿元（守备）、杨名声（千总）、成名标（守备）。其中塔齐布很快就由一个游击被保举成副将、总兵，曾国藩上折奏事，还把他的名字放在自己前面，成了曾国藩最好的挡箭牌，很多时候就避开了与湖南巡抚一起联名上奏。
誓师东征至岳阳后，贵州道员胡林翼率所部黔勇加入。值得注意的是，曾经在湘乡县训练团练的罗泽南、李续宾、王錱、刘蓉、郭嵩焘都没有随营出征。罗泽南、李续宾二营留驻衡阳，王錱自树一帜被骆秉章派调先往湖北黄州。
这样的人事布局，显然是曾国藩有意安排的，是欲另起炉灶，摆脱团练局限，自己完全掌控军队的表现。
咸丰四年（1854）四月，曾国藩给在家的四位弟弟写了一封信，这是一封向来不为研究者所重视的信。
信中首先谈到四弟国潢：
澄弟之才力诚心，实为人所难学。惟近日公道不明，外间悠悠之口，亦有好造谣言讥澄弟之短者。而澄弟见我诸事不顺，为人欺侮，愈加愤激，肝火上炎，不免时时恼怒，盛气向人。人但见澄弟之盛气，而不知实有激之逼之使然者也。人以盛气凌物诮澄，澄以盛气伤肝致病。余恐其因抑郁而成内伤，又恐其因气盛而招怨声。故澄归之后，即听其在家养息，不催其仍来营中。
信中谈到的背景是曾国藩率湘军东征至岳阳，遭受大败，不得已退保长沙；三月，太平军攻破湘潭，湘军大胜；四月初二，曾国藩亲率水陆湘军，在靖港遭遇惨败，开仗仅半顿饭工夫，陆勇溃败，水勇也纷纷逃窜，“二千余人，竟至全数溃散，弃船炮而不顾，深可痛恨！”[46]曾国藩气得当场投水。
在这种情况下，曾国藩不免肝气太躁，动辄与人多有不合，办事多不能成。
得知这种情况，曾家差不多全家出动。
连他那秀才父亲，也写信指点曾国藩，“训诫军中要务数务”，小至营中吃饭要早，大至扎营、调军、阵法。大弟国潢亦来长沙帮忙。
曾国潢看到大哥如此境遇，自然也肝气火旺，尽管他的用意是好的，却反而为曾国藩添了许多口舌争端。
因此，曾国藩便打发曾国潢回乡下。这封信谈的正是这件事。接下来，曾国藩又谈到官场中的事：
王璞山之骄蹇致败，贻误大局，凡有识者皆知之。昨在家招数百乡勇，在石潭杀残贼三十人，遂报假胜仗，言杀贼数百人。余深恶之。余与中丞、提军三人会衔具奏一折，系左季高所作。余先本将折稿看过，后渠又添出几段，竟将璞山之假胜仗添入。发折后，始送稿来画，已无可如何，只得隐忍画之。朱石樵在岳州战败逃回，在宁乡战败，逃奔数次。昨到省城，仍令其署宝庆府事，已于十八日去上任矣。是非之颠倒如此[47]。
这里曾国藩提到三件事：
一是王錱之战败是由于骄横所致，然后还敢虚报战功。
二是湖南巡抚幕僚左宗棠代写奏折，并擅自作主将王錱的假胜仗添入。
三是朱孙诒多次战败逃回，竟然还升任宝庆知府。湖南官场对曾国藩责备自己手下营官朱孙诒还不以为然。
曾国藩面对这些事，竟然无可奈何。堂堂湘军大帅，为何对这些事无力驾驭？说起来，就是因为其无职无权，空有一个统帅名号，受制于湖南官场。而湖南官场竟然颠倒是非，全然没有把他当作一回事。“客寄虚悬”四个字的滋味，曾国藩是真正领受到了。这就是后来曾国藩兄弟始终刻意与湖南官场保持距离的关键原因之一。他告诫弟弟们，“学为和平，学为糊涂”。只不过，以老九为代表的弟弟们不仅没有“学为糊涂”，反而一个个更加棱角分明。
他进而得出一条结论，天下大乱，必先由是非不明、黑白不分开始。