但接下来的战事就不顺利起来，太平军运至花药山的劈山炮多是四百斤的小炮，萧云贵命人将东岸的千斤大炮尽快运过来。但太平军的炮队在催促声中运炮过东洲岛浮桥时却发生了意外，东洲岛浮桥乃是昨夜连夜赶制出来的，颇为粗糙，人马和四百斤的炮通过都有些晃晃悠悠，后面千斤炮上来后，那浮桥抵受不住重压，竟然断裂开来，一门千斤炮沉入了水中，好在炮手落水有会水的同伴救起，没有死伤，但浮桥断了造成东西两岸运兵运粮都不畅起来，萧云贵不得不号令暂缓攻城，命各军先抢通浮桥再说。

后来坏运气接踵而至，城南的攻城战因为炮火未至、浮桥断散而暂时停顿，北面右路军李开芳、李以文、曾天养、何震川等人率领四千余人却准时出现在衡州城北。四将按照原先商议好的策略，开始强攻青草桥，守桥的清军仓惶逃窜回城，但清军临走前，在桥上浇了火油，一把火烧了起来，意图阻拦太平军过桥，同时也让自己能有时间逃回城去。

北面太平军抢到青草桥头时，大火已经不可控制，李开芳、李以文四将只得眼睁睁的着有着八百年历史的木桥烧断。北面太平军不能渡过草河，只得在北岸寻找船只、木料组织人手抢修浮桥渡河。

原本一场可以让清军首尾不能相顾的突袭战，因为种种原因而搁置，清醒过来的和春知道长毛这次可是来真的了，也不敢怠慢，匆忙加强南北两边城墙的防御，同时派出人手扮作难民百姓逃往耒阳和攸县，同时向徐广缙和向荣求援。

到了傍晚时分，东洲岛的浮桥首先恢复，最后的一门千斤炮也运到了花药山，居高临下开始轰击衡州城南。在此期间萧云贵数次组织人手抢占城南外围的民居，以坚固民居作为依托，开始准备攻城。

城南的清军也不示弱，架起大炮还击，一时间城南炮石箭矢如雨，民居庐舍差不多尽毁。衡州乃是清军囤积物资的要地，钱粮辎重充足之外，城内竟然还有十二门新铸的三千斤铁炮，穷凶极恶的和春将十二门新炮悉数放到城南来，一度压制得太平军不能靠近城墙。天色渐渐黑了下去，双方的激战才渐渐弱了下去。

萧云贵也注意到了清军的火力优于自己，想到自己这幅身躯似乎很能吸引炮弹，所以一直不敢发令大举攻城。到了夜幕降临之时，萧云贵想起历史上长沙之战中，太平军曾今搞的穴地攻城，便让顶在前面的林凤祥准备趁着黑夜，从城南的民居内开始掘进地道。

想起历史上太平军穴地攻城的战例，萧云贵也知道掘进单层地道极为容易被人破坏，一上来便告诉林凤祥，让他派人掘进双层地道，形如曲突，直抵城门之下。又在另外几处也假意挖掘地道突进，以迷惑清军。同时萧云贵号令花药山的炮阵不时发炮，扰乱清军视线。

清军没想到天黑之后太平军还发炮，和春仗着城内药子充裕，财大气粗的下令还击，一时间城南又热闹的打了起来，只是黑夜之间毫无准头可说，只要不是太倒霉，一般是不会被炮火所伤。但萧云贵可不敢以身试险，他的人品和运气似乎都不怎么样，所以一直躲在后面，和左宗棠计议军事。

城南一带民居距离城墙已然很近，掘进一夜，已然完成了一半。天亮之后，萧云贵换了后军吉文元、朱锡能部上前佯攻，继续吸引清军注意，林凤祥部继续掘进地道。

但吉文元、朱锡能等部顶着桌子案头的几次攻击，都被清军炮火击退，伤亡了百余人，城头的清军开始士气大振，在城头嚣张的嘲笑城外的太平军，更有甚者站在城头向下撒尿，以示轻蔑。城下的太平军见状都是睚眦尽裂，暗暗咬着牙，等着城破的那一刻要杀光这些清妖。

当晚三更时分，地道已然掘进到城下，太平军中西殿的人马之中有不少贵溪银矿的老兄弟，都是西王的旧部，最擅长的便是打土攻，地道挖好后，按着土层厚薄和城墙大小，在两层地道都放置了上万斤的红药准备爆破。这些红药是南路军三分之二的药量了，要是还攻不破南门，萧云贵就只得强攻了。