却说谢万领军自出下蔡北上，大军逶迤而行，每日不过三十里，行军安排自有长史胡彬主持，谢万照旧每日与幕僚行乐，也不巡营，诸将愈发不满。江淮之间的这些武将，除了军府直属的兵力，大多都挂着各地郡守的职务，除了能从军府获得拨付的钱粮，还有自己的场务能够赚钱、有随军的士兵家属等以供役使，实乃名副其实的军阀，土皇帝一般；即使没有行政职务的，所带的兵马也大多数是自己招募的，形同私兵。谢万如此做派，这些军将如何肯为他出力，有几个脾气暴躁的就要脱离谢万大军离去。胡彬和何容等几个谢氏的老将以及参军高柔等极力安抚众将：谢氏相容简拔之恩，不可或忘，何况北方强敌再侧，众将务必安抚部曲，同舟共济云云。
这日抵达陈郡阳夏，阳夏乃是谢氏故郡，谢万下令大军就地驻扎休整，自己亲自带着一队部曲造访故乡，缅怀祖先。
自谢万到豫州后，豫州军府资用不足，这些军将颇过了些苦日子，这时候驻扎下来，便就有兵卒到乡里勒索钱财吃食，为祸乡里。消息传到胡斌耳中，因这些日子诸将群情汹汹，他也不敢按军纪处置，何况他的手下手脚也没有干净到哪里去。谁知道被参军李恒在谢万面前添油加醋的说了，惹得谢万大怒。此处是谢氏的旧地，虽然大部分谢氏族人都已经南迁，到底还是有些乡土情怀，谢万便差李恒去责问胡斌，要他处置这些兵卒。
“处置？”胡彬冷笑道，“这样的乱兵各个将军的营中都有，有本事李参军去处置吧！”
李恒大怒，指着胡彬道：“你个粗鲁武夫，下贱人胚，竟敢抗令不尊！”
胡彬大怒，对着李恒大骂：“你算个什么东西，成天摆弄是非，再敢聒噪我宰了你！”手下亲兵听了，拔出了刀来一起上前，就要乱刀砍了他。
李恒哪里见过这等阵势，吓得脸色惨白，转身灰溜溜地跑了。
“呸，没卵子的东西！”胡彬唾骂道。
李恒回去之后，又狠狠地向谢万告了胡彬一状。只是谢万再蠢，也知道现在要靠着胡彬掌握军队，虽然生气还是好言安慰了李恒几句，没有再深究。不想快马来报，北中郎将郗昙，从金平退守彭城，一语把个谢万惊得魂飞魄散。
参军李恒心里害怕，对谢万道：“都督，常言道虎父无犬子，北中郎将父子两代掌兵，颇通军事，北府军又一向骁勇，这样的军队尚且拼不过燕国铁骑，豫州军府这些兵将，军纪败坏，恐怕更是难以抵御啊！”
参军高柔是谢尚看重的人，多年在军府之中，颇通军事。他出言反对道：“不然！燕军骑兵虽然善战，却并不熟悉河南地理，从来不敢深入河南地。北府军虽然退却，却没有过来通报说是战败。现在情况不明，我军不妨占据城池，就地驻扎，同时多派斥候细作，了解详情之后再做定夺！”
李恒抗声道：“战场之事，瞬息万变，岂可缓缓图之？何况此举是将都督置于危险之地啊！”
参军杜袭笑道：“两位不要争辩了！河南地回归晋土不过十年，期间又多经战乱，士民并不归心。稳妥起见，大军不妨退回寿春，再做打算！”
高柔反对道：“大军进退，岂是如此儿戏？现在民夫千里转运粮草至此，一旦退却，我军必然损失惨重啊！”
李恒冷声道：“大军撤退，自然千难万难。都督撤回寿春却并不难！都督身份高贵，身系豫州安危、社稷之重，岂能置身险地？”
本来谢万听说郗昙撤退，就疑心燕军兵锋太盛，不敢再往前走了。这时候听到李恒的建言，深以为然，便出生道：“好了，诸位参军不必再相争，本督心意已决，着胡彬统领北伐诸军，退回下蔡！”说罢便让部曲打点行装，连大营也不会，直接带着幕僚们快马加鞭地向南撤退了。
却说众将在大营之中等待谢万，正自不耐，却听得快马来报：北中郎将退守彭城，谢都督向南退走，着长史胡彬带军队撤回下蔡！
众将军简直不敢相信自己的耳朵，一军之主将，竟然连个招呼都不打就独自跑了！辅国将军王度暴跳如雷，大声喊道：“老贼误国，竟敢弃军而逃，置大军于险地，我这就去宰了他们！”
一时诸将纷纷起哄，就要去追击谢万。
何容劝道：“谢氏毕竟是高门世家，诸位今日杀了谢万，形同造反，谢家岂肯干休？谢都督弃军私逃，朝廷必然不会坐视不理，诸位同袍何必逞一时意气，白白断送了自己的前程！”
胡彬也道：“看在谢安石的份上，大家暂且饶过谢万！此事朝廷自有处置。现在最要紧的是怎么解决目前的困境。”
诸将虽然心中不忿，到底不敢犯上作乱，只得作罢。没有主将，这仗算是打不成了，但是撤退顺序，是亟需解决的问题。
谢万在时，诸将有所顾忌，尚能勉强行动统一。主将南逃，诸位将军互不统属，营中又流言纷纷，有说燕军势大，北府兵惨败的。有说燕国十万大军，倾国而下，转眼及至，势不可挡的。淮水以南的诸军只想着撤退回淮水以南，依托淮水抗击燕军。河南诸军却舍不得自己的地盘，再说还有军属留在河南各地，不能弃之不顾。诸将无法达成一致，于是便各自引兵撤退。征调而来的民夫听说燕兵势大，纷纷结伴逃跑，一时间各军也不管辎重，丢兵弃甲，四处溃逃。各将的部曲私兵虽然恐慌，尚能围在主将周围听用，所征发的兵家子和招募来的兵马，则趁机四散而去。溃兵分散各处，又无辎重，难免祸害百姓，有三五成群向南逃得，也有趁势聚众落草的，不一而表。
胡彬看着满目疮痍的大营，仰天长叹：“宁肯为好汉子牵马坠蹬，不为赖汉子当祖宗！我胡彬却是在为谢万这个赖汉子牵马坠蹬！”
身边的部曲将胡范安慰道：“将军安心，这不是将军一己之力能够控制的！眼下诸军已退，咱们也撤了吧！”
胡彬看着身边剩下的五百部曲，叹息一声，纵马南归。
刘义之率领三百轻骑，五百步卒，打着征虏将军刘建的旗号，沿涡水向北运动，但凡遇到溃兵，全部拿下，整编成伍，不服训令的一律格杀。一路上滚雪球一般，人数越来越多。溃卒散落乡里，大批百姓闻讯，害怕胡骑屠杀，也成群南逃，刘义之但凡遇到，一律整编，并安排船只，沿涡水南下，送至马头城。
这日远离涡水到了一个地方，叫做贾家村。骑兵队长刘程笑道：“长史，这些日子我们也收编了不少人了，原先不过八百人马，现在不算送回马头的，也已经有小两千了，后勤吃紧啊！此地离马头要差不多两百里了吧，再往北走只怕就会遇到鲜卑骑兵了，咱们是不是开始往回走？”
刘义之笑道：“没那么玄乎，不过也确实该往回走了！刘洪，你带领所有的步卒乘船回马头城吧！我带着骑兵在附近搜索一番，自回淮水渡口！”
刘洪拱手称是，自带着人去寻涡水上的船只。
刘程笑道：“最近这些日子，遇到不少溃卒，谁知道竟然是越往西人越多！”
刘义之笑道：“大军出动，自然是沿着河水走，便于运输粮草和取水。溃兵南下，逃命要紧，当然是选近路直接往南走了！此地往西二三十里便是慎县，我们今天到那里去看看！”
众人吃过了干粮，拿出马背上的豆料，喂了马，才继续上马往西走去。
“前面有人厮杀！”接到斥候回报，刘义之抓紧时间整队，往前去看。只见数十名溃卒围绕着一辆马车，和几个满脸是血的人在相斗，马车里一人惊慌失措，瑟瑟发抖。
正在相斗的双方看到有大队人马靠近，忙停了下来，警惕地看着刘义之一行。
刘程上前对那些溃卒喝道：“这是征虏将军的队伍，你们是谁的部下，竟然拦路抢劫！”
那些溃卒都眼望着中间一个高大的汉子，那汉子踌躇了一下，抱拳道：“我们本是溃兵，也就不需要提什么谁的部下了！兄弟们一路行来，好不容易到了此地，见到了他们有吃食，向他们讨要，谁料他们竟然口出恶言！兄弟们不忿，这才动起了手！”
刘义之看那群溃兵，都没有铠甲，有的手里有刀，有得赤手空拳，各个面有菜色。正要说话，就听到车里那人大声道：“刘长史，快救我！我是参军李恒啊！”
刘义之定睛一看，车中之人果然是李恒，便笑道：“李参军好！怎么流落至此？”
李恒苦着脸道：“我和都督失散了！路上遇到溃兵，被人抢了马去。不成想到了此处，竟然又被溃兵围了！”
刘义之笑道：“你的马没了，还留着这马车何用？”
李恒听他有调笑之意，心下恚怒，但是眼下实在不宜翻脸，便指着车前的几个汉子道：“幸亏我还有部曲照料！”
刘义之看着那四名满身是血的汉子，心下大怒，这李恒竟然如此不把自己的部曲当人！当下不再理他，对那个高大汉子道：“我这里还有些吃的，你们吃了之后需要跟着我回马头，知道了吗？”
那汉子看了刘牢之的数百骑兵，叹了口气，挥了下手，几十名溃兵聚在了身后，向刘义之拜倒。刘义之把那汉子扶起来，取过自己的干粮袋，分发了出去。