咸丰四年七月，受命与曾国藩同办水师实为分权而来的陈辉龙，怀着激动的心情抵达岳州。
就在到达当天，陈辉龙协同褚汝航、夏銮急切的表示要出战。为此，还说了一大堆借口。如从四月以来共创水师，已经历时三月之久，耗响甚多却未立一功，内心实在感到惭愧……等话。”表现出其是多么忧国忧民官员，但实际上是因为看到水师半月之内接连获胜，参战之人节节高升。着实让其眼热不已，因为其已经垂垂老矣，留给其建功立业的机不多了。因此见到如此大好的立功机会，才这般急切的要出战。
国藩没有理由阻止他，因为其不隶属国藩，且出战理由充分的无懈可击，何况咸丰帝在接连获胜之后，早就多次催促水师乘胜速下武昌，但国藩一直坚持固守。所以，此次国藩见其急切的想出战，便心想让其去试试水也好。在其出战前只是用放之四海而皆准的道理告诉陈辉龙“下游水急，进易退难，如遇南风，不要开仗;且沿江港汊，虑有埋伏，获胜后仍勿穷追等语。”但陈辉龙并没有放在心上，因为国藩在其眼里只是一个半路出家的“教官”，且唯一一次水战还惨败险些身死，因此国藩的话，在其已有四十年水战经验的自己看来，纯属纸上谈兵的书生之言。
到达岳州的第二天，山东登州镇总兵陈辉龙亲坐拖罟船督所属广东水师作为先锋袭击屯驻城陵矶的太平军水师。其后是褚汝航、夏鉴统待所部与左营彭玉麟、右营杨载福的声援部队，在其后策应。
陈辉龙行至半路，遇到太平军小股舰队。陈督广东水师排阵袭击，一时间击毁太平军数艘战舰，太平军战舰立即驾船向下游逃去。见太平军如此不堪一击，不免证实了心中的想法，太平军就是一群乌合之众。兴奋的他仿佛已经看到功名利禄在向他微笑。于是，陈辉龙当即下令继续进攻直捣城陵矶。
这位轻的的将领，很轻易的被引进太平军埋伏点的象骨港。
当陈辉龙督率广东水师驶进象骨港，太平军伏船四起，很快就将航路包围的水泄不通、而第一次作战的广州水师在陷入重围之后，并未组织起有效抵抗，便自行溃散纷纷跳水逃生。
之后不久，后队水师猛将褚汝航、夏銮所率后队赶来救援，但冲击太平军的外围防线不成，反被炮弹击中，双双殒命，在二人指挥死后，无人指挥的褚汝航、夏銮二营溃退。好在有左、右二营的三板艇阻挡了太平军的追击，避免的更大的损失。
此战，清军损失惨重，陈辉龙广东水师一营船炮尽失，全军四百多人覆没;褚汝航、夏銮二营失去快蟹四只，三板六只，主将身死;随同作战的李孟群营失去快蟹四只，波山艇一只，长龙二只，三板四只;彭玉麟、杨载福少量部队完全无恙。
此战所以失利的原因在于，久经训练的湘军水师主力彭玉麟、杨载福两营并未参战，而参战的是先锋是新进组建的陈辉龙一营并且担任主角。反而原本作战丰富的褚汝航、夏銮充当配角策应角色，最后以至于被猪队友到沟里。
国藩在奏折中表示此次作战“与陈辉龙等经营数月，昼夜加工制作的战舰与器械损失将近一半，很是伤心流涕等语。”
但是归根结底，清廷派来与其分权又分功且制衡国藩的陈辉龙没了，其内心应该是……