李开芳自连镇率六百多孤勇之士，骑马狂奔闯重围后。马不停蹄往南直奔三百里，沿路寻找北伐援军。待太平军马队气势汹汹奔至高唐州时，城内清军见太平军驰至，不敢应敌，纷纷开城门而逃，奔波三昼夜的饥渴难耐的太平军见清军“主动献城”，便欣然笑纳，毕竟人和马在奔波中都吃不消了。
待李开芳进城之后，先寻城里富户处所，然后一六百多人大摇大摆闯进去，对该家主说，“我们是路过的，因路途遥远没得吃食，所以来贵家里吃点……顺便打听点太平军北伐军的消息。太平军上门谁敢不好酒好菜的招待，富户便赶紧召集家丁，给太平军招呼饭菜去了。等饭菜做好，便逐个端到大院的桌子上，请太平军享用。等太平军开始吃了，这时候富户才拿出好酒赶来招待，这时李开芳便顺口询问其可知道北伐援军的消息。富户说：“前些他们的阵势很大，周围的人都纷纷准备逃命，但是后来官府贴出告示，说北伐援军已经业以败亡，让大家不必惊慌，现在过去一个多月，确实没在听到他们的消息。李开芳闻此消息，饭也吃不下去了，原本他还想饱餐一顿，打探点消息，顺便带点干粮继续南下接应的。但是如今已无援军，一时间没了目标的李开芳也不知何去何从，既然如今身在高唐，便想先占据高唐，派人送信给林凤祥，让其伺机突围，统兵南下高唐汇合，在做计较。
事不宜迟，李开芳在想好接下了的道路后，立即从同闯三百里的赶来接应援军的兄弟，抽出五六人带着信，从不同道路回去，急报林凤祥。其他的兄弟留下来固守高唐，等两路援军汇合后再谋出路。
李开芳决定固守高唐后，便率众将士驰往官府府库，当他们打开官府仓库时却发现，储粮仓库空空如也，再打开附近存放火药的仓库，同样是空空如也。这让准备固守高唐的李开芳等人傻眼了。但是信已经给林凤祥送去了，现在也不好转移，只好便派士兵与民夫在城外挖壕沟，地道，并在城南、城东、城西竖栅栏建垒，构筑城防。
当太平军的守城准备初见规模后，停驻的太平军，立即被纷纭而至清军立即将高唐围的水泄不通。
待胜保布置好包围圈后，于高唐外立稳足之后。立即凭借人数优势，向太平军城外新筑营垒发起进攻，太平军外围营地由于无炮火掩护，力战不敌后退入城中，新筑的营垒皆被清军焚毁。退入城中的太平只能凭借所挖所挖壕沟拒敌。
很快原本驻守高唐的士兵，见清军接踵而来，立即一溜烟又回到高唐城下，将城内火药已经被转移运德州消息告知胜保，胜保闻之大喜，由于清军运输的大炮还在路上，胜保便准备先用古代冷兵器时代攻城之法赶至云梯等器械攻城。
在云梯准备好之后，胜保立即下令清军分四路士兵同时用云梯攻城。没有火炮的太平军只得在清军攻城时用石头和射箭打击攻城的清军，清军虽有损失轻微。胜保见此，对他的计划颇为得意，他料定的太平军黔驴技穷，胜利在望，但是胜保显然高兴得太早了。
清军进攻约半个小时左右，城上射下来的箭越来越少，投下来的石头越来越少。胜保立即大呼太平军的防守材料以尽，大家快上，数千清军立功心切纷纷爬上云梯，以图最先爬上城墙。此次胜保心里那个激动的。但是清军即将爬上城墙时，胜保突然看到在城上防守的太平军纷纷抬起，百姓建房时粗壮的大梁。胜保见此急忙喊快撤，但是这时候说什么也来不及，凭借云梯即将爬上城头的清军，被太平军扔下来的粗粱纷纷压落在地，就连各处登城的云梯也纷纷被压断。
见此情况，无计可施的胜保只好，甘拜下风，手队撤兵！
一计不成，胜保在生一计，还是“变通古法”，命工匠加急赶制吕公车，并同时为了吕公车顺利撞破城门，命兵勇“囊土填壕”。
城内的防守的李开芳，在高唐州久侯林凤祥不至，便开始为突围准备。由于此时已经深陷重为，鬼点子特别多的李开芳，便想出剪去长发，假扮清军零星逃散的计划。为了保证这个计划的顺利实施，李开芳亲率士兵乘夜从城南地道偷偷潜出去，抓捕偷袭清军巡夜队。
潜出去的太平军，将所遇到的一个巡逻队杀伤数十人，抓获其中头目两三人，然后从士兵口中，套出清军的编制、番号、巡查暗号，当然还有衣服样式。在逼问中还有一个意外收获，就是得知清军在赶制吕公车准备攻城。得到这些消息之后，李开芳便为了克制吕公车撞击城门，下令用土木掩塞城门，并同时命城内夫人加紧赶制号服。
当胜保的吕公车赶制好，准备攻城的时候，忽然天将大雨，高唐城下因为挖壕泥土松软，下雨后泥泞不堪，当吕公车推出去，还没开始撞城门，车轮却陷入泥土之中，无法前进，笨重的吕公车无丝毫勇武之地。
位居紫禁城的咸丰，在接到胜保云梯、吕公车等计接连失败的奏报后，立即下旨严批胜保“疑该大臣前次造云梯、吕公车、筑台铸炮，辗转因循，徒延时日。即以兵力而论，岂有巨万兵勇，不能举此孤城，而令千余逆匪得以负隅坚拒之理”
胜保接到旨意后，觉得委屈，便向咸丰写明困难回信说：“现存城之贼数不盈千，然皆楚粤真贼，凶狡异常，欲窜不能，负嵎死守。”