曾国藩在进入江西后，由于战线拉的过长，加上频繁的战斗，军饷、粮食、弹药、船舶修复和制造等补给都跟不上。九江这一战湘军战败，让曾国藩更是雪上加霜。为了保证江西水、陆的防务，急需要筹办火药厂和修船厂，于是曾国藩派特使德英杭布去找新上任的江西总督陈启迈，请求他拨二十万饷银饷以解燃眉之急。
陈启迈是湖南常武陵人，其实跟曾国藩算是老乡，又与曾国藩同年，而且是同科入仕，后同在翰林院供过职，不光如此，从曾国藩早期的书信来看，两人私交还相当不错，在北京的时候，曾国藩寄送东西回家，多次都由陈启迈帮忙捎带。刚开始陈巡抚对曾国藩还算是比较关照，日子一久，就开始对曾国藩及湘军指手画脚，一会要求防御景德镇，一会又要求保护省城，一会又要求调去湖口，一会有要求去义宁支援，这种纸上谈兵的指挥，让部队就像一支无头苍蝇到处乱窜。曾国藩被陈启迈这种“乱弹琴”的军事水平折腾几个月后，果断拒绝了陈启迈对湘军的调度。
陈启迈也摊牌了，我作为江西一把手辛辛苦苦帮你筹集军饷，你一个武装部长还不听指挥，那好，以后这钱也别管我要了。
所以这次等心急如焚的德英杭布陈述完来意之后，陈启迈对德英杭布说，现在江西兵荒马乱，百姓也都是苦不堪言，之前我已经对兵部侍郎曾大人的要求全力支持，可是江西的防务却一直不见好转。这次你们又一次要二十万，现在这样的大环境筹钱这事情太不容易了，请你回去禀报曾大人，请他再找找别人想想办法。
陈启迈一分钱都不给，还跟德英杭布讥讽曾国藩前面即使拿了钱事情却没办好，他们的梁子就这样结下了。
咸丰五年（1855年）3月，曾国藩苦战已久的湘军已经弹尽粮绝。为筹军饷，曾国藩不经江西地方政府同意，委派江西人彭寿熙在南康设立厘局，对过往商人设卡抽税。
陈启迈对曾国藩这种越俎代庖目中无人的做法十分恼火，他虽然格局小没什么大局意识，但是他是一个操守还不错的官员，自己为官一任造福一方，从江西巡抚的角度来看，当然要站在江西人民这边，为江西人民谋利益，曾国藩我年长你那么多岁，论当官资格比你老，出任封疆大吏也比你早，你依仗在江西打战拿着朝廷的尚方宝剑都不需要经过我的同意就设卡抽厘、征粮筹饷，我现在扼制你们这种行为是为了减轻江西民间的负担，政治伦理上也站得住脚。
所以陈启迈自然也不觉得自己做错了什么，于是联合臬司恽光宸向清朝当局拟奏告状，说曾国藩越过地方衙门擅设厘局，向江西百姓课以重税。
而对于曾国藩而言，作为领军作战的大臣，在江西跟太平天国打的如火如荼，这本是关系帝国命运的大局，为了这个大局，我可以跳江，而你陈启迈不仅不配合、不拨款支持，还总是在我背后搞小动作，给我出难题，还把状告到皇帝那里去了。这笔账，我迟早会要跟你算。
5月，塔齐布到青山与曾国藩商议军情。曾国藩认为应移军东渡，剿平湖口、东流、建德等地疏于防守的太平军，塔齐布求胜心切立，誓定要夺回九江洗刷耻辱。
7月，塔齐布没有按曾国藩的军事建议执行，而是擅自进攻九江而久攻不下，连遭挫败，塔齐布为此非常气愤、自责。心劳日拙，口喷鲜血于军中，年仅三十九岁。曾国藩得知塔齐布死后，异常伤心，赶往塔齐布碑前哭泣不止。
在这个满蒙将领逐渐凋零的时代，塔齐布成为清军抗太平军的先锋，即使在如此强大的对手面前，无畏生死，从不惧色。清政府追赠齐塔齐布为将军，赐谥忠武，并在长沙为他建造专祠。
石达开也收到了湘军大将塔齐布已死的消息，果断领军到达湖口，并在东岸县城坚壁高垒，严密防堵，想乘势找机会对曾国藩以及湘军一举迁灭。于是派小船每夜去湘军阵营放火箭火毯，骚扰湘军水师。
湘军水师不堪其辱，以一百二十余艘轻便快船冲入鄱阳湖内，石达开立即堵塞湖口水卡，断其出路，派小船夜袭湘军停于江面上的快蟹等大船，两岸太平军以火箭、喷筒协助，共烧毁湘军船只四十余只，其余退往九江。林启容自九江、罗大纲从小池口南北两岸现时发起反攻，焚毁敌船百余号，湘军水师大乱，“辎重丧失，不复成军”，此时石达开、罗大纲等以轻舟逆流而行，直取曾国藩座船，曾国藩惊骇至极，再次投水寻死，又被章寿麟所救，曾国藩领着湘军仓荒逃往南昌。湘军水师“辎重丧失，不复成军”，退回武汉修整。
石达开在在湖口、九江一带取得的胜利，为太平军三克武昌创造了条件。挽救了太平军西部战场的危局。
此时沙俄利用清政府忙于镇压太平天国以致东北边境兵防务空虚之机，发动船只多次非法闯入黑龙江。咸丰六年十二月，沙俄宣布成立“滨海省”，明目张胆地将黑龙江下游划入该省辖区。咸丰七年闰五月十六日，沙俄宣布在黑龙江北岸建立“阿穆尔防线”，将这一地区分别置于该防线的第一、第二军分区控制之下。咸丰七年十一月，沙俄在黑龙江北岸从上游到中下游建立起许多军人“村屯”，派兵把守，并让俄国人“移民”屯垦，军事强占胁迫清政府认可。
就在曾国藩与太平天国打的水深火热的时候，朝廷却不从国库拿给他一分钱，也不给他供给后勤保障，而是让他跟他的军队自己在地方想办法，这种布局势必引起野战军统帅和地方长官的矛盾与冲突。
可是咸丰帝不会管，他忌惮曾国藩这种汉族地方势力的壮大，故意削弱曾国藩的权力，不任命他为战区某个省的地方大员，仅仅给他一个侍郎的虚衔以督师办差的名义领军作战，自然处处会被地方官掣肘，以此作为压制曾国藩的手段。所以曾国藩曾经在湖南办团练时和骆秉章的种种矛盾，跟现在再江西和陈启迈的矛盾都是如此。
8月，太平军西征军于岳州受挫后全部撤出湖南，退入湖北。10月，湘军水陆齐下，在田家镇一战，秦日纲所带领的太平军水师主力消耗殆尽。
咸丰六年（1855年）10月，一个叫彭寿颐的江西人与万载六区绅士举办团练，六区的团练划分为12支，总共1600余人。后来在1857年瑞州太平军总制严某突破官兵的围城，攻陷上高县（瑞州府属县），彭寿颐召集团练准备去徐渡（今上高县徐家渡）抵御太平军，这时，太平军被歼灭于上高，彭寿颐训练了10天团练后作罢。彭寿颐向江西巡抚陈启迈揭露万载知县李峼弃城之事。李峼是陈启迈老婆的家的近亲，这弃城之事是大罪，陈启迈恐怕被牵连，正好得知彭寿颐被曾国藩授命在江西南康设置厘金局筹集军饷，陈启迈立马下令抓了彭寿颐，并在审问过程中将彭寿颐打死。
早在1854年，太平军进攻江西万载，知县李峼弃城逃走，彭寿颐在曾国藩的湘勇还没有到达江西前，就在当地倡议过老百姓办团练抵御，由于经费问题，团练没有办成。
曾国藩驻扎江西后，彭寿颐向曾国藩献上他写的《团练新编》，曾国藩看完之后认为彭寿颐是一个为了国家敢于担当的人，于是支持他在省府南昌办团练。受到曾国藩鼓舞的彭寿颐回到南昌后，马上与举人廖连城办团练，聚集了1000多人，号忠义军。6月，准备去卢市（今万载县罗城镇卢洲村）抗击太平军，途径罗城（今万载县罗城镇罗城村）的时候突然遇到盘踞在方塘（今江西省宜丰县芳溪镇）的太平军一千余人，忠义军难以抵挡。后廖连城分兵防港口。12日，太平军集结进攻彭寿颐领导的忠义军，忠义军趁其渡河时发起进攻，击毙太平军三百余人，太平军残部退走。当时有大量太平军驻守在瑞州府（今江西省高安市，宜丰县当时属瑞州府），官军攻之不下，彭寿颐本想去进攻，向知县李峼申请粮草但是遭到拒绝，忠义军由此解散。
曾国藩知道彭寿颐遭陈启迈毒手后，这次彻底怒了，陈启迈你不支持我，我可以忍；你给我穿小鞋，我可以忍，大家这都是为了公。但是彭寿颐倾其所有，不辞劳苦办团练，在军中与士卒同甘共苦，穿草鞋，吃野菜，打击太平军。这样一个胸怀为国平定天下之志、有胆识、讲义气的人，你作为国家的封疆大吏总是打着自己的小算盘，报私仇居然用这种下三滥式的手段害死了他。
彭寿颐，我曾国藩应该要还你一个公道。
历史证明，以德服不了人，只有自身足够强大，拥有压倒性的武力值、权力威望、博学知识才能服人。
曾国藩派人送去两百两银子吊唁，并为彭寿颐题字：彭子文，江右人杰也。
几天后，德音杭布在锦江码头所设的厘卡抓住了正在走私鸦片江西万载县令李浩的小舅子。曾国藩令德音杭布严查李浩后面的保护伞，李县长不但打战时跑的快，交代问题也很快，一五一十把自己如何袒护小舅子走私鸦片，走私后渔利分多少给陈启迈全部交代了。
曾国藩听德音杭布汇报后，连夜拟专折报送皇帝数了陈启迈六宗罪：
第一，陈启迈派江西总兵赵如胜跟太平天国九十多人对战时弃船逃跑，导致清军全军覆没。陈启迈上奏却称赵如胜奋不顾身、力战终日。所丢失战船数百条、火炮七百门都没有跟朝廷奏明，还含糊欺饰、罔恤人言，明知赵如胜军事水平差，仍然派他防堵饶州等处，光是正月赵如胜就败逃三次，被太平天国攻破饶州。陈启迈居然又含混入奏，对赵如胜这样的叛徒不但不追究其责任，还向朝廷袒护包庇，践踏法律。
第二，已被革职的守备吴锡光投奔江西陈启迈，陈启迈对他多次包庇、虚报战功，替他向朝廷开脱罪名，使吴锡光屡次超升，还赏给勇号。吴锡光虽是能战之才，但他贪婪好色、纵兵扰民，在南康时招募了美女一百多人，当地无论穷人富人对他都非常害怕，正月二十九日，吴锡光麾下贵州勇无故杀死龙泉勇一百八十七名，全省军民为之不平，而陈启迈既不惩办，还颠倒是非，找武宁县监狱内其他犯人假称贵勇，杀之以掩众人之耳目。三月二十八日，吴锡光进攻饶州，仅杀敌数十人，陈启迈上奏，谎报克复饶郡，杀敌三千、焚船百余，吴锡光和他儿子、侄子全部被超升，就连巡抚署内管帐的会计胡应奎，也随折被提拔。义宁州失守，责任在于吴锡光骄矜散漫、率兵逃跑可是陈启迈依然恬不知耻上奏，说是鏖战多日、杀敌千余。
第三，皇帝您安排我到江西来防御天平军，塔齐布驻防九江，罗泽南收付一府两县、保全东路，我们对于江西问心无愧，部队打战要吃饭、要发饷而，陈启迈动不动就说没有钱给湘军发军饷。我用侍郎黄赞汤炮船、捐输银四十多万两，按比例上交给国家后，经过皇帝批准用作部队开支，这本来是部队本分应得的钱，并不是国家财政的银两，哪怕就算全部从江西财政开支，这也是国家的钱，陈启迈怎么能据为己有呢？我既担心没钱给部队发工资军队从而哗变，又担心跟巡抚不和而误国家事，所以不得不委曲顺从。
第四，罗泽南攻打广信以后，我本来想调他回饶州、都昌，以便与水师进攻湖口，陈启迈一会调他防景德镇，一会要求他保护省城，一会又调往西剿义宁，一会写信调往湖口，臣以大局为重，臣都回信答应服从调度，回信允从，部队刚出发，而陈启迈突然又送来要求调往义宁之信，朝令夕更、反覆无常，我虽然想迁就曲从他，而实际上，部队不可能如此调度。
第五，今年二月，我与陈启迈开会见面商量，江西水路薄弱，应该要重新打造一支水师部队，需要造船十多条、招募一千人，以加强鄱湖入口的防御，作为楚军后路支援，这个事情跟我之前也上报朝廷的奏折是一致的。获得批准后陈启迈跟我对接、批文给河南候补知府刘于浔一起来筹备这个事情，本来已经开工造办了，忽然接陈启迈来信称，江西本省不需要设立水师、要求停止造船，我又再次顺而从他，只好再跟刘于浔在市汊设立船厂，供部队使用，又接到陈启迈来信，说要把厂内船只交给吴锡光新招募的水军使用，让船厂再造十五条船，船厂委员带领工人连夜加班赶造，船造好后，陈启迈来信称不需要了。
陈启迈倏要船、倏不要船，倏立水军、倏不立水军，无三日不改之号令，无前后相符之咨札，不特臣办军务难与共事，即为属员者亦纷然无所适从。
——曾国藩《曾国藩家书》
第六，这些年来，在皇上您指使各省举行团练，大多数有虚名而没有实效，我认为湖南的平江县、江西的义宁州办团练还是相对取得了一定成绩。去年义宁州屡获胜仗，多以捐款的人很多。之后论功劳的时候陈启迈批出公文说出力者不得保、捐赀者不得保，所保的人大多是他府内的官亲幕友，陈启迈署中幕友陈心斋亦得保升知县。义宁州绅民怨声沸腾，在省城张贴揭贴说保举不公，以后长毛若是再进攻国来，我们大家都不干了，再也不会捐钱、也不会守城。陈启迈对此居然悍然罔顾。四月贼匪果然又来围攻州城，该州牧叶济英多次请求救援，陈启迈也不拨兵去救援，叶济英困守二十多天，最终寡不敌众，州城陷落，城内百姓被杀戮一万多人。这次陈启迈保举不公所造成的抗击长毛失败，引起军民公愤，也是义宁州团练解散的根本原因。
第七，去年四月，塔齐布在湘潭大战获胜，仅仅一点败残的零匪从醴陵窜至江西，萍乡、万载等县，这些县居然全部失守。万载县的知县李峼当时弃城逃走，乡民彭才三等人以大量马、米送贼，万载县才没有被完全洗劫。之后举人彭寿颐办团练，纠集六区合为一团，制定条规并进行刊刻后跟县令李峼汇报，要求获得批准。可是这彭才三愚蠢地跟李峼建议，只需要送点钱财给贼寇就可以避免祸乱，彭寿颐所办团练抵抗反而激怒了贼寇。彭才三这些败类，自己不但不进行抵抗也不捐款，反而诬告彭寿颐一家说他是想要造反，李峼因受彭才三的贿赂，也一起诬陷彭寿颐。但是袁州府知府绍德深在查证后也证明了彭寿颐办练团仅仅是为了抗贼，下令严批要查办李峼，而巡抚陈启迈不剖是非、批词含糊，拖延了半年、让这个案子悬在那里一直未结。于五月二十九日，陈启迈要臬司恽光宸对彭寿颐进行严讯，强迫彭寿颐出具诬告的证据，彭寿颐不从，于是陈启迈又让恽光宸对他严加刑责，百端凌虐，颠倒黑白、令人发指彭寿颐冤死狱中。
方今贼氛犹炽，全赖团练一法，以绅辅官、以民杀贼，庶可佐兵力之不足。今义宁之团既以保举不公而毁之，万载之团又以讼狱颠倒而毁之，江西团练安得再有起色？至于残破府县，纵不能督办团练，亦须有守令莅任，以抚恤难民而清查土匪，乃臣驻扎南康两月，陈启迈并不派员来城署理南康府县之任，斯亦纪纲废弛之一端也。臣与陈启迈同乡同年、同官翰林、向无嫌隙，在京师时见其供职勤慎，自共事数月，观其颠倒错谬，迥改平日之常度，以致军务纷乱、物论沸腾，实非微臣意料之所及。目下东南贼势，江西、湖南最为吃重，封疆大吏关系非轻，臣既确有所见，深恐贻误全局，不敢不琐叙诸事，渎陈于圣主之前，伏惟宸衷独断、权衡至当，非臣下所敢妄测。所有江西巡抚陈启迈劣迹较多、恐误大局缘由，恭折缕晰具奏，伏乞皇上圣鉴训示施行，谨奏。
——曾国藩《曾国藩家书》
收到曾国藩的奏折后，咸丰帝在曾国藩和陈启迈之间做出了选择。为了自家的江山，此时他当然要维护顾“大局”的曾国藩，陈启迈被革职。
虽然并未因陈启迈被革职，曾国藩今后在江西就会收到优待，但是在江西这些年曾国藩所遭受的憋屈、以及彭寿颐的死，总算是有了个交代。
通过在江西几年的历练与跟陈启迈之间的斗争，曾国藩开始变得圆融老辣，明白了“宁静谦退，柔弱为用”的处事哲学，身在一线，战争是真刀实枪，花的是真金白银，光靠“圣言”救不了世。但也因为在江西陷入孤立无援，皮肤病反复发作，长期的压抑和愤怒导致曾国藩经常失眠，得了严重的神经官能症，身心憔悴，几近崩溃，这是他人生的一个困难时期。
用霹雳手段，显菩萨心肠。
——胡林翼
咸丰六年（1856年）6月17日起，太平天国东王杨秀清、翼王石达开率太平军近五十万大军接连攻破武昌、南京，之后准备与天京城外的明孝陵已经驻扎三年之久的绿营决战。
向荣本也是晚清名将，1853年春受任钦差大臣后建立江南大营，历时三载，虽未能克复金陵，但对阻扼太平军向苏、常发展，威胁天京太平军的安全，确也起到了一定的作用。双方由于兵力悬殊过大，向荣所带领的绿营惨败，兵力损失大半。
6月19日拂晓，太平军四五千人直扑仙鹤门敌营，接着又出动数千人分七八队进行包抄，清军溃退。与此同时，驻扎在龙脖子的太平军也出动二三千人，排立山脚，向荣不得不从大营抽六百步兵前往抵御。当天，清将张国梁率兵一千二百名赶至大营支援向荣部，但不敢正面应战，只是连夜在营外附近筑垒，想拖延太平军的进攻。
6月20日晨，各路太平军兵分多路发起总攻，将清军团团围困，另一路太平军二三千人翻过紫金山从后路包抄，同时，天京城内又派数千人直扑七桥瓮。向荣亲率大营兵勇一千二百名人赶赴七桥瓮，想找机会突围。这时，紫金山上又一支太平军四五千人由灵谷寺下山，攻破满洲马队营盘，纵火焚烧；同时，洪武（今光华门）、朝阳（今中山门）等门太平军亦分路出击，连下清军营寨二十余座，进而攻破孝陵卫大营。清军几乎全军覆没，死伤副将以下千余人。向荣、张国梁兵败逃往丹阳。
至此，威胁天京达三年之久的清军江南大营也被太平军彻底摧毁。向荣在此战英名扫地，愧愤交加自杀于丹阳营中，钦差大臣由江南提督和春继任。
摧毁江南大营之后，杨秀清即令秦日纲统军追击残余清军，韦昌辉主持江西军政，石达开前往湖北，解武汉之围。
7月3日，秦日纲、陈玉成、李秀成等率部进抵丹阳城外，与清军对峙。