熊文灿还是有些头脑的，他命令徐之龙不要贸然救援英德，防止半途被闯军伏击。他一面通知广西巡抚郑茂华，从贺县、怀集由陆路向连州运粮，一面让广东总兵陈谦、游击陈鹏集结广州、肇庆的兵马，收复英德县。
广东明军大举在三水集结，准备沿北江北上英德。熊文灿知道此事严重，集结的官军多达上万，规模快要赶上澄迈会战了。王瑾在湖广还有大仗要打，不能在这里和陈谦硬碰硬，他只留下刘文炳虚守英德，自己带着主力悄然北上。
直到明军的主力抵达北江和湟水交汇处的洸口，重新打通了和徐之龙部的联系，刘文炳才逃之夭夭。一支几百人的小队伍，逃走之后明军自然没地方去找他们，陈谦沿着水路一路北上，将被闯军占领过的府县全部“收复”，上报大捷不提。
经过了这一番折腾，广东藩库的经费大量消耗，让熊文灿自掏腰包他又不认头。广东明军士气大衰，连州瑶变更炽，广东明军暂时无力再出兵湖广了。熊文灿命令陈谦、陈鹏和徐之龙会合，先将瑶变彻底镇压下去。
广东方面的威胁暂时解除，但王瑾刚一返回郴州，就得知了一个坏消息：刘弘才和郝尚久被打败了。
杨嗣昌的兵力虽强，但是追不上闯军，终归无用，这事自然不是他干的，刘弘才和郝尚久是遭到了祖宽的突袭。关宁军抵达武昌之后，领了军饷，乘船而进，速度极快，比王瑾预计的时间更早地抵达了衡州。
刘弘才和郝尚久并不是在毫无防备的情况下被袭击的，他们见明军来了援兵，一开始打算转移，只是慢了一步，转移途中发现明军速度太快，只能改为就地抵抗。他们只有区区两千人，又怎是祖宽的对手。祖宽仅以一千兵马就击溃了闯军。刘郝二将各自带伤，跑出几十里之后收拢残兵，仅余半数。
祖大乐和祖宽的部队配属了一批方孔炤辖下的湖广步兵和铳炮部队，总兵力超过五千。初战告捷，仅损失百余人，就打垮了困扰杨嗣昌许久的闯军，关宁诸将极为得意，当即投入了对衡州城的攻击当中。可这一次，他们吃了瘪。
关宁军的第一波攻击十分猛恶，有之前湖广明军攻城的经验，他们很清楚城防的薄弱环节，直接攻上了城头，连孟长庚都被打伤了。可是当守军拼死堵住缺口之后，关宁兵便生动形象地展示了什么叫“一鼓作气，再而衰，三而竭”。攻击一次比一次无力，最终无功而返。
杨嗣昌也并非真正的无能之辈，做督师是为难他，做个巡抚的本领他还是有的。这段时间他已经尝试了各种攻城办法，但衡州城一直岿然不动。
闯军发了不少抄家财，手上金银财宝很多，又借明军的威名让城内士绅出了些钱粮，对守城士兵的犒赏很大方。再加上粮道未绝，积储丰沛，由田虎这种水平的主将带着孟长庚、吉庆玉、孙可望等经验丰富的闯军骨干守城，不要说杨嗣昌，就是皇太极来了也没那么容易破城。
湖广明军没有攻城重炮，这让已经习惯了有红夷大炮配合的关宁军很不适应，也不愿再用人命去往城墙上填。杨嗣昌已经让熊文灿从广东调运红夷大炮来，但是从广东到湖广的交通线迟迟没有打通。
鉴于这种情况，杨嗣昌决定自己带着罗安邦、杨世忠继续围困衡州，由陈上才部引导关宁军先去攻打衡州，打通与广东的联系。
祖大乐和祖宽没有意见，王瑾的主力也不过几千人，和王瑾决战可比强攻衡州这样的坚城容易得多。在衡州大营休整一段时间之后，祖大乐、祖宽、陈上才所部官军约六千人南下郴州。
郴州不能再守了，留的人少了，抵挡不住如此之多的明军，留的人多了，主力被尽数牵制在此，死守就成了守死。黄色俊、刘文煌、刘新宇、阎可义、李荆楚等人都主张在郴州城外设伏打击明军，如果在北方，这种思路是非常正确的，而现在湖广闯军只此一支机动兵力，不要说吃败仗，就是大一些的伤亡也是难以承受的。
以少量老兵组织大量民兵的模式可以伏击湖广本地部队，但用来伏击关宁军恐怕会被反杀。如果老兵投入得太多，闯军又损失不起。祖大乐和祖宽都是王瑾的熟人，他们是不会轻敌的。就算闯军伏击得手，也没有一口气将这支敌人全部歼灭的实力，虽然能杀伤不少敌人，自己也会付出很大的代价。湖南饥民虽多，却难以迅速形成战斗力，不像北方那样有大量的资深流寇可以迅速以老带新。
王瑾决定撤到一个更有利的地形再抵抗，他自己带着主力部队向仓禾堡转移，让黄色俊、刘新宇去接应刘弘才和郝尚久，到仓禾堡会齐。刘文煌则留在郴州等待刘文炳从回来，接上刘文炳之后立刻撤回井冈山。刘文煌和刘文炳关系向来不错，这两位看名字简直就是亲哥俩。
明军占领郴州之后，根本没理会退向井冈山的队伍，直奔仓禾堡而来，根据他们掌握的情报，这里是流寇的老巢，流寇的主力、家眷和战利品都在这里。
祖大乐和祖宽杀向仓禾堡，陈上才则被派来进攻香花岭，守卫香花岭的是阎可义、刘新宇、郭子奴指挥的大约两千闯军。
这一战闯军大量动员民兵补充部队，又是保卫家园，又是在山地据险防守，民兵也能和关宁军对抗。香花岭矿工起义最早，和官府仇怨最深，知道失败之后一定被报复，抵抗意志非常坚决。王瑾迅速将部下的十一个大队每个都扩充到近千人，总兵力过万。这样的军队不能拉出去决战，却足以坚守已经被修成了堡垒的仓禾堡和香花岭。
由于地形复杂，明军不熟悉地形，人数也少，不可能完全封锁，所以就算打输了，部队也可以转移，不会像在郴州那样，一旦城破就是全军覆没。
陈上才过去镇压过小规模的矿工暴动，并未把香花岭守军放在眼里。然而他的第一次攻击被轻易打退了，他这才意识到，守卫矿山的是真正的流寇，而不是一般的乱民。
阎可义是经验丰富的军官，刘新宇的成长也很快，充任军官的又都是闯军老兵。在他们的组织下，原本就比一般农民更有纪律的矿工，已经成为了一支可以和明军正面对垒的力量。