这一时期，曾国藩不仅陷入军事上的危局，政治上也陷入重重泥沼之中。
问题在于曾国藩没有实权。虽然屡获大胜，湘军与清王朝体制上的矛盾仍然没有理顺，曾国藩的处境仍然十分艰难。这种艰难在江西表现得最为充分。
湘军出省作战实行的是“就地筹饷”，江西省官僚系统负有供饷之责。其时江西巡抚是陈启迈，其人气度狭隘，寸权必争。在他眼里，曾国藩不过是一个办团练起家的在籍官员而已，地位等同绅士，湘军不过是民团，跑到江西来，是他的额外负担。他认为，湘军要在江西吃自己的军饷，就必须对自己唯命是从。因此他对曾国藩指手画脚，呼来喝去。他所下命令又朝令夕改，令人左右为难。对这样一个毫不知兵的巡抚，曾国藩实在无法敷衍，只好拒不从命。这下子惹火了陈启迈，对曾国藩“多方掣肘，动以不肯给饷为词”。[《曾国藩全集·奏稿》1，岳麓书社，2011年，第482页。]
曾国藩忍无可忍，拍案而起，于咸丰五年（1855）六月十二日，以陈启迈“劣迹较多，恐误大局”，上奏参劾。陈启迈所作所为确实让人无法为之辩解，咸丰皇帝阅之大怒，立刻将陈启迈革职查办。[《曾国藩全集·奏稿》1，岳麓书社，2011年，第485页。]
然而，接下来发生的事情又重复了曾国藩湖南的经历，这次参劾不但没有使其他江西官员束手，反而让他们变本加厉。接替陈启迈任江西巡抚的文俊行事一如陈氏，江西官员在他的率领下团结起来处处给曾国藩下绊子、设障碍。曾国藩为了筹集军饷，就要在江西抽厘，也就是收取商业税，这样就不能不聘用江西绅士来办理厘局。这在江西地方官员看来无疑是侵越他们权力的事，因而就来个针锋相对，寸权必争。曾国藩要在哪儿办厘局，江西也在哪儿办厘局。曾国藩要用某个绅士，地方官就扣住不给，甚至对亲近曾国藩的绅士进行打击报复。早在陈启迈当政时，有个名叫彭寿颐的江西举人，甚得曾国藩的赏识，欲招入幕府使用。陈启迈收到曾国藩的咨文后，不仅不允调用，反而因事将彭寿颐投入狱中，严刑拷讯。久而久之，江西司、道、府、县官员皆希上旨与曾国藩互为水火，甚至有人故意起而刁难谩骂攻击曾国藩，以取悦自己的上司，甚至曾国藩的兵勇也经常被人痛骂毒打，遭受侮辱。
湘军在江西的军饷得不到保证，部下长期陷于饥困。为了吃到一口军粮，甚至有湘军部将冒险而死。湘军毕金科部长期乏饷，士有饥色，地方官员告诉毕金科，如能攻占景德镇，便立刻为他发饷。毕金科一向莽撞，今又穷困已极，便决意一试。太平军在景德镇坚固设防，布有重兵。毕金科率一千饥疲之卒贸然来攻，结果全军覆没，毕金科也丧命其地。曾国藩得知后又痛惜又气愤。咸丰九年（1859）六月湘军终于攻陷景德镇后，曾国藩在毕金科丧命之处立下一块石碑，亲为撰写碑文，其中有“内畏娼嫉，外逼强寇，进退靡依，忍尤丛诟”[《曾国藩全集·诗文》，岳麓书社，2011年，第160页。]等语。这不只是表达对毕金科的痛挽，也是为抒发自己心中多年的块垒。
曾国藩在江西数年之间步步荆棘，处处碰壁。他后来在给朋友的信中回忆说：“江西数载，人人以为诟病。”[赵列文：《能静居日记》2，岳麓书社，2013年，第1083页。]又形容当时的苦况说：“士饥将困，窘若拘囚；群疑众侮，积泪涨江，以求夺此一关而不可得，何其苦也！[《曾国藩全集·诗文》，岳麓书社，2011年，第156页。]”他无时不想挂冠而去，“国藩昔在江西、湖南，几于通国不能相容。六七年间，浩然不欲复闻世事”[《曾国藩全集·书信》7，岳麓书社，2011年，第296页。]。但时势之危与圣人之教又不容许，只好百般隐忍，甘受煎熬，常年寸心如焚。“虹贯荆卿之心，而见者以为淫氛而薄之；碧化苌弘之血，而览者以为顽石而弃之。古今同慨，我岂伊殊？屈累之所以一沉，而万世不复返顾者，良有以也。”[《曾国藩全集·书信》1，岳麓书社，2011年，第466页。]委屈痛苦，溢于笔端。他甚至这样对好友刘蓉说：“所至龃龉，百不遂志。今计日且死矣，君他日志墓，如不为我一鸣此屈，泉下不瞑目也。[《刘蓉集》2，岳麓书社，2008年，第33页。]”种种不平之鸣，证明这是他一生中精神最痛苦的时期之一。
正在曾国藩痛苦万分之时，咸丰七年（1857）二月十一日，曾国藩忽然接到父亲曾麟书于二月四日去世的讣告。这个噩耗此刻倒成了摆脱困境的天赐良机。他立刻上疏要求回家守孝，并且不等皇帝的回复，把军队抛在江西，径自回到了湖南老家。作为领兵大臣，不待批准即离开军营，本来是要获罪的。只是由于湖南巡抚骆秉章、湖北巡抚胡林翼反复为他说情，咸丰皇帝才免于追究，并且给假三个月，让他在家治丧。
咸丰七年五月，曾国藩假期将满，他不想再过客位虚悬的日子，遂奏请在家守三年之制。皇帝当然不会批准他在家守孝三年，在回复中催他立刻回到军中。曾国藩于是向咸丰皇帝摊牌，给皇帝上了一道奏折，一股脑儿地把自己压抑已久的愁苦愤懑都说了出来，期望皇帝会体谅他的苦衷，授予他职权。
他在这封叫《沥陈办事艰难仍恳终制折》的著名奏折中将官场的潜规则说得很清楚。
他说，带兵打仗，必须依靠地方官员的支持。“至于筹饷之事，如地丁、漕折、劝捐、抽厘，何一不经州县之手？”但地方官员只认他们权力体系内的运转规则，只听能掌握他们升迁权力者的话。他名义上为“部长”级官员，而“文武僚属大率视臣为客，视本管上司为主。宾主既已歧视，呼应断难灵通”。他“身非地方大吏，州县未必奉行，百姓亦终难可信”，所以“或臣抽厘之处，而州县故为阻挠；或臣营已捐之户，而州县另行逼勒。欲听之，则深虑事势之窒碍；欲惩之，则恐与大吏相龃龉”。[《曾国藩全集·奏稿》2，岳麓书社，2011年，第222页。]
他虽有保举权，但由于所保人员非国家正规军出身，“徒有保举之名，永无履任之实”。许多战功卓著的部下，“虽保举至二三品，而充哨长者，仍领哨长额饷。充队目者，仍领队目额饷。一日告假，即时开除，终不得照绿营廉俸之例，长远支领”。[《曾国藩全集·奏稿》2，岳麓书社，2011年，第221页。]
他直言不讳地说：“臣细察今日局势，非位任巡抚，有察吏之权者，决不能以治军。纵能治军，决不能兼及筹饷。臣处客寄虚悬之位，又无圆通济变之才，恐终不免于贻误大局。[《曾国藩全集·奏稿》2，岳麓书社，2011年，第223页。]”如果皇帝不给他督抚之权，他就只能“在籍终制”，就是说不复出山。
曾国藩以为他已经把委屈和困难说得够充分了，皇帝没有任何理由不给他这个卖命的走狗以必要的支持。没想到，逞妇人之智的咸丰皇帝和曾国藩较上了劲。
咸丰在奏折上批了这样一段话：
江西军务渐有起色，即楚南（湖南）亦就肃清，汝可暂守礼庐。[《曾国藩全集·奏稿》2，岳麓书社，2011年，第225页。]
批准他在家守制三年，实际上解除了他的兵权。
这当头一棒差点把曾国藩打昏。他万没料到，苦战数年竟是这样一个结果。
咸丰皇帝为什么如此果断地罢了曾国藩的军权呢？
因为他另有了依靠。
前面我们说过，咸丰皇帝一直认为，镇压太平天国的关键是拿下南京，因此指挥八旗和绿营，在南京建立了江南江北两座大营。
这两座大营既是咸丰皇帝“舍弃枝叶、直指根本”的战略思维的产物，也是“清廷中满洲贵族集团对抗以曾国藩为首的新兴汉族地主军事集团—湘军集团的产物”。[赵亦彭：《前后江南大营比较论》，河北师范大学2007年硕士论文。]
曾国藩的湘军崛起之后，虽然在长江中游屡立战功，但是在咸丰眼中，始终只是为协助正规军队镇压太平军而兴办的、临时征召的汉族“民兵”，一直不过是“外人”，顶多算是偏房生的孩子。
江南江北大营才是咸丰皇帝眼中的嫡系，是大清江山的支柱，也是国家正规军的脸面。由汉人建立的“私家武装”立下拯救王朝之全功，以后国家正规军的威信何在？皇帝的如意算盘是让曾国藩游击野战，歼灭太平军的有生力量，最后仍由盘踞在南京脚下的正规军将领收功。
因此虽然江南江北两座大营作战并不给力，但对这两个亲生子，咸丰皇帝还是一直非常偏爱。湘军坚忍能战，但是咸丰皇帝却不积极给湘军供饷。江南江北两座大营，皇帝却委以专人负责，划定若干省份专门供应。胡林翼愤愤不平地说：“即如江西之援军，及涤帅旧留江西之部曲，在今日总算强兵，然百日无饷矣。若吴若皖之兵，以十万余计，未必如此之厄，亦可慨矣。”
然而烂泥扶不上墙。两座大营建立后，表现非常差劲。两座大营分峙南北，花了上千万两的银子，不但不能迅速拿下南京，也阻挡不了太平军北伐和西征的步伐。不仅如此，它们后来又被证明不能保卫自身，咸丰六年（1856）初，太平军为了消除清军对南京的威胁，大举进攻，二月击溃江北大营，五月击溃江南大营，让咸丰多年心血付诸东流。
亲生子实在指望不上，所以咸丰皇帝对曾国藩不得不一再优容，虽然不给曾国藩实权，但是却能参谁准谁。湘军坐困江西，军事上一直没有起色，但与对满洲亲贵和武将们动不动就破口大骂要杀要剐不同，咸丰对曾国藩一直还算客气，没有辱骂讽刺。
然而不久之后，形势有了变化。
首先是天京事变，使太平天国实力大衰。
太平天国的最高领袖虽然是洪秀全，但是洪氏以教主自居，深居简出，并不管理具体事务。军政大权，掌握在东王杨秀清手里。攻破江南大营后不久，杨秀清野心膨胀，自称“天父下凡”，召天王洪秀全到东王府“逼封万岁”，意图谋取最高权力，引发天京内讧。洪秀全诛灭东王杨秀清，逼走翼王石达开，太平天国内部人心涣散，军事形势开始逆转。
与此同时，江南大营的军务也有了起色。
江南大营被攻破后，1856年10月，清政府授江南提督和春为钦差大臣，重新建立江南大营。
和春是一个比较有头脑的人，他走马上任之后，向皇帝推荐长于理财的浙江巡抚何桂清为两江总督。何桂清不负所望，理财有方，当上总督后每月拨解大营的军饷多达四五十万两。在源源不断的饷银支持之下，和春大肆扩充军队，使所部兵力由向荣时期的不足万人，迅速增加到八万余人。同时在上海购买了大量洋枪洋炮，使武器装备大为改善。
江南大营战斗力因此明显增强。和春抓住太平天国内讧导致力量衰弱的大好时机，积极进攻，不久成功收复镇江，在南京城外“扎大小营盘一百三十余里”，把南京“困如铁桶一般”。和春得意扬扬地宣称，此“实属数年来未有之气象”。[《和春奏》，《方略》卷190，第34～36页。转引自茅家琦主编：《太平天国通史》中册，南京大学出版社，1991年，第183页。]
这样一来，南京脚下的江南大营和长江中游的湘军在镇压太平天国的战争中就形成了针锋相对的竞争关系。双方都试图凸显自己在天下大局中的重要性。江南大营统领和春、两江总督何桂清非常敌视湘军集团，恨不得湘军早日覆灭，以便自己收获镇压太平天国的全功。特别是何桂清，不断通过各种方式攻击曾国藩。
何桂清是道光十五年（1835）的进士，此人干练敏捷，官运颇为亨通，年仅三十八岁，就当上了浙江巡抚。何桂清官场上如此得意，除了能力突出外，更重要的是，他和曾国藩的政敌彭蕴章是同年好友，又很得祁寯藻的赏识。他由浙江巡抚升两江总督的过程中，和春一个人说话并不管用，彭蕴章起到了更为关键的作用。此时彭蕴章在军机大臣中的地位非常重要，他“以咸丰初年入政府，后遂为首相，力荐何桂清兼资文武，必能保障江南”[薛福成著，丁凤麟、王欣之编：《薛福成选集》，上海人民出版社，1987年，第253页。]。史载：
适阙两江总督，上语军机大臣：“此官以筹饷为命脉，勃能胜任者？”大学士彭蕴章奏称：“何桂清在浙江，饷徽州全军数万人，未尝阙乏。”上韪其言，授两江总督。彭故与何同年进士，何颇谨事之。[熊月之主编：《稀见上海史志资料丛书》1，上海书店出版社，2012年，第318页。]
在彭蕴章和和春的联手运作下，咸丰七年（1857）夏，何桂清被擢升为两江总督。
何桂清基于朋党习气，对曾国藩从不亲近。他在做浙江巡抚时，虽然供给江南大营军饷非常及时，对曾国藩的湘军，却从无援助。咸丰五年（1855），曾国藩因为实在太困难，专门派郭嵩焘去向何桂清求助，“曾节相事机不顺，坐窘豫章，遣太史郭筠仙（即郭嵩焘）商饷于何桂清”[中国史学会主编：《中国近代史资料丛刊·太平天国》6，上海人民出版社，1957年，第590页。]。何桂清惜金如玉，分文不借，和曾国藩结下了梁子[有史料说曾国藩素来专横跋扈，向浙江乞饷，先责备浙省挥金如土，何桂清、王有龄气恼之余，分文未给。“王壮愍（王有龄）为杭守，以全善之区而丝毫未允，实因来函有‘平昔挥金如土’一语芥蒂其间。”从人之常情判断，有求于人却先盛气批评，显然不可信。]。“然浙江故无事于湘军，湘帅、浙抚每不相能”。[王闿运、郭振墉等：《湘军志 湘军志评议 续湘军志》，岳麓书社，1983年，第88页。]
不但不借，何桂清还与彭蕴章等人书函往返不绝，不停地向彭和其他京中好友汇报对曾国藩不利的消息。何桂清经常在信中抱怨曾国藩无能，江西制敌不力，以致祸及浙江：“浙江为邻封所害”。特别是咸丰六年（1856）二月湘军连败之后，何桂清汇报说：“江右误于涤生之胆小，竟是坐观，一筹莫展。中丞又不敢独任仔肩，各路俱是客兵自办，惟围攻抚州系西省之事，并无悍贼，数月不开一大仗。九月中旬不过数百贼出来，全军已皆逃矣。[苏州博物馆等编：《何桂清等书札》，江苏人民出版社，1981年，第39页。]”从这些书札看，何桂清十分轻视曾国藩。他向彭蕴章等人密报军情，直接影响到朝廷对曾国藩及湘军的看法。何桂清有时还直接向咸丰打小报告，攻击湘军。
1856年10月，抚州太平军出兵攻击抚州城外湘军李元度大营，抚州大营湘军溃散。曾国藩汇报这个事稍晚了些。一个月后，曾国藩才上奏《抚州老营被贼扑陷折》，向咸丰汇报了这次失败。
结果，曾国藩接到咸丰的“上谕”说，他早已经知道了这个消息。上谕说：
曾国藩、文俊自八月三十日奏报瑞州、建昌胜仗之后，已及月余，未见续报。昨据廉兆纶奏，有探闻抚州官军失利之语，与本日何桂清奏报相同，亦未见曾国藩等入奏。
曾国藩不知道，原来邻省浙江巡抚何桂清早已抢先将抚州湘军溃败的情况密报清政府，所以咸丰才如此生气申饬曾国藩不及时报告兵败。
咸丰接着在上谕中语气严厉地指责曾国藩在江西没有作为，天京内讧，各路太平军多回转金陵。占据江西各地的太平军，并非嫡系，他却没能收复什么城池。
前闻贼匪多回至金陵，而江西失陷各郡，尚无一处克复。所有占据城池之贼，闻皆石逆党与，诱胁土匪，为之拒守。即广东新附匪徒，亦皆系石逆所纠集，与金陵逆党，尚未归并。[《曾国藩全集·奏稿》2，岳麓书社，2011年，第158页。]
这些显然也都是何桂清密报的。咸丰要求曾国藩乘太平军内乱时，赶紧收复江西。还语含讽刺地说：
若徒事迁延，劳师糜饷，日久无功，朕即不遽加该侍郎等以贻误之罪，该侍郎等何颜对江西士民耶？[《曾国藩全集·奏稿》2，岳麓书社，2011年，第158～159页。]
皇帝这样露骨地讽刺，曾国藩在江西时期还是头一次收到。这显然是彭蕴章、何桂清等人联手排挤的结果。在咸丰看来，能积极配合满洲军队的何桂清无疑比曾国藩驯服得多也可信得多。
在中央，以彭蕴章、祁寯藻为首，在地方，以和春和何桂清为首，组成了一个强大的反湘军集团，影响着咸丰的决策。正是在何桂清不断打小报告的作用下，咸丰皇帝越来越轻视曾国藩，也越来越把宝押在江南大营之上，“人人皆以为大功可企足待，文宗益倚重江南军”[王定安著，朱纯点校：《湘军记》，岳麓书社，1983年，第112页。]。恰在这时，曾国藩向咸丰伸手要官。
于是咸丰七年（1857）六月十九日，咸丰令曾国藩“着照所请，在籍守制”。后来虽有兵科给事中李鹤年、湖北巡抚胡林翼多次奏请起用曾国藩，均被咸丰拒绝。看来咸丰是坚决要弃掉曾国藩这颗无用的棋子了。
