同治二年（1863）二月，曾国荃补授浙江巡抚，而攻陷金陵的战事也越来越吃紧。曾国荃此时既怕别人抢头功，又怕自己旷日持久，久攻不下，引来杀身之祸，一时，肝病复发，难以支撑。为此，曾国藩多次写信劝慰。但曾国荃脾气暴烈，常对下属大发无名之火，有时对朝廷也有几分不满。曾国藩考虑到曾家一世成败系此关键时刻，于是便派心腹幕僚赵烈文前往辅之。这样，赵烈文便于同年五月来到了雨花台湘军大营，充任了曾国荃的幕僚。赵烈文在这里干了一年多，直到同治三年九月，曾国藩将两江总督衙门迁至江宁，赵烈文才重新回到了曾国藩身边。在这一年之中，赵烈文颇有曾国藩派出之“小钦差”的意思，而曾国荃亦未敢以幕僚视之，故仍算曾国藩的幕僚。由于赵烈文忠于职守，给曾国荃提了不少好建议，全心全意的为曾氏兄弟着想，虽说没有完全为曾国荃所接受，但却进一步取得了曾国藩的信任。而赵对曾国藩也愈益钦佩。但曾国荃是个不好侍候的主人，后赵烈文因草奏一事，几乎与其闹翻。
正因为曾国藩以中国道统自任，所以他有做皇帝的条件而不做皇帝，怕被后人套上乱臣贼子之名而拿他和王莽、董卓、司马懿相提并论。金陵攻陷后，曾氏兄弟的声望，可说是如日冲天，达于极盛，曾国藩因此被封为一等侯爵，世袭罔替；曾国荃也被授一等伯爵。而湘军所有大小将领及有功人员，莫不论功封赏。上者位至侯伯，次者也官授道、府、提、镇，或其他职位。当时湘军人物居督抚地位的便有十人，而长江流域的水师，全在湘军将领控制之下，曾国藩所保奏的人物，无不如奏除授。
然而这一切，都只是表面的荣耀。而实际上，曾国藩兄弟所面临的，是无数波涛汹涌的暗流。这些“暗流”的产生，有的是因为满汉种族的歧见，有的起于私人利害冲突，有的则归咎于湘军本身的因胜生骄，败坏军纪。
首先是金陵克复后，清廷据人奏报，城中有数不尽的金银财宝，应令攻城将领献归政府。清廷自太平军起事以来，在财政方面已到了捉襟见肘的地步。十几年来，从中央到地方，一直都在过着挪移补缀，挖肉补疮的日子。同治三年克金陵时，单是湘军一处，待发的欠饷已将近五百万两。而全国文武官员的薪俸养廉，早已七折八扣，不能按规定发放。北京城里靠政府养活的旗人，穷得连衣服都没有穿的；因迫于饥寒而跳御河自尽的，日有所闻。
因此，当清廷听说金陵攻破，可以得到不少财物时，便禁不住“利欲大动”了，于是便降旨令查明金陵所得财物，报部备拨。这一来，可真把曾国藩难住了。因为湘军攻下金陵时，军纪已乱到极点：官兵们全把职责抛到脑后，日夜忙于到处搜刮财物。连文书、伙夫都纷纷进城去大发“横财”了。弁兵们肩挑背负，大箱小笼，络绎于途，真像是“蚂蚁搬家”一般。所有太平天国的王府和衙署，莫不被洗劫一空。有的临了还放一把火，连房子都烧光了。自曾国荃以下，几乎人人各有所获（少数文职人员例外）。这时候要让大家把掠夺的财物，缴还公家，简直是不可想象的事。
可是，若说攻下金陵，太平天国国库中毫无金银积聚，那是三岁孩子也不会相信的。曾国藩几经熟虑，只得含混其词地复奏：“伪都中只有私藏，并无公款。勇丁们所掳财物，多寡不齐，难以清查。如果要勒令他们缴出来，只怕所得无几，反而有失政体和军心。”因而请求免究免缴。
事情到此地步，清廷自然不便再加追问，也就不了了之了。然而曾国荃的贪名，从此喧腾众口；而曾国藩的“包庇”罪名，也是跳进黄河也洗不清了。
但曾家的麻烦还不止如此。曾国荃初次向清廷奏报克城情形时，折中曾有：“金陵城范围太大，搜捕的工作很难周全。臣一度离城，赶回城外老营。城中贼酋，也许有少数漏网的。自当督率各军，奋力追杀”之语。这原是因为克城那几天，湘军大小官兵，倾巢出动抢掳妇女和财物，造成一片混乱；太平军有几千人便乘乱突围而出，无影无踪。曾国荃和幕僚们料定其中一定有重要人员。于是商量结果，乃有这一段交代，预留将来脱卸责任的余地。
不料清廷接获奏报，大为震怒，严词谴责曾国荃疏防纵敌，不应该在未能确切控制金陵城之时，贪图安逸，赶回老营去休息。曾国荃接到廷寄后，气得七窍生烟。可是皇帝的责怪，即使再无理也得接受。无可发泄之下，惟有迁怒于替他起草奏折的赵烈文，说他措辞不慎，给他惹来这样的麻烦。但赵烈文则认为，这与奏折言词无关，而完全是清政府节外生枝，有意吹求，否则，杭州城破时陈炳文等十余万人突围而去，左宗棠为何不受指责？一时曾、赵宾主之间，感情恶化，几濒破裂。
金陵失陷后，太平天国忠王李秀成在城外被方山歹民逮住，解交到曾国荃军中。但其部将萧孚泗等为了冒功，不仅呈报是他们派兵拿获的，还把解送李秀成的乡民们绑起来拷问，并趁机勒索李秀成随身所带金银珠宝。而参与此事的将领兵弁，不是曾家的亲戚，便是邻里乡亲；因此曾氏兄弟明知萧孚泗等人的胡作非为，大损湘军声誉，也只好眼睁眼闭，置之不问。但这事传到外面后，众口喧腾，曾氏兄弟又成了众矢之的。
当时朝野都以为李秀成是太平军高级将领，理应献俘京师。而曾氏兄弟却因为李秀成知道的事情太多了，若解到北京，湘军中不太光彩的事迹，势难掩饰，而尤其是关于金陵财物积聚的事，将贻人攻击口实，生出无数波澜来。因此不顾朝廷的旨令，同僚的劝说，毅然“先斩后奏”，把李秀成杀了。朝廷见事已既此，也只好默认了。但有人却趁机大造舆论，指责其“杀人灭口”、“专横跋扈”，一时闹得满城风雨。甚至更有人认为李秀成并没有死，曾国藩所杀的只是替身而已。清朝为此还特地派大员到南京进行过明查暗访。
更有一事，也使曾国藩十分难堪。金陵城破之后，曾国藩根据曾国荃报告，曾向清廷奏报：城内太平军，或擒斩，或自尽，或追杀，无一漏网。幼主洪福则死于乱军之中。可是几个月之后，江西巡抚沈葆祯却奏报擒获自金陵逃出的幼主洪福、干王洪仁王干、恤王洪仁政及昭王黄文英等一干太平天国高级领袖；据供同时逃出金陵的，不下数千人。
这样一来，已足证明曾国藩从前的奏报，是虚伪不实的了，至少应负“失察”之过。要不是有克复金陵、荡平大乱的大功，这“饰词入奏，铺张战绩”的欺罔罪名，曾氏兄弟断断是逃脱不了的。虽然清廷不便明显地加罪，但来自各处的冷讽热嘲，也足已使曾氏兄弟感到难堪的。而翌年，起居注官蔡寿祺竟以此弹劾曾国藩，此事是否出于清廷的授意，不得而知；但蔡寿祺以一个小小的起居注官，居然敢弹劾功业正盛的总督大臣，倘非“见风使舵”，是难以想象的。如此则清廷对于曾国藩的信任程度，已足可使人怀疑了。
清廷对于曾氏兄弟明加封赏，在骨子里却是疑忌横生，处处防备。这对于一生以克己自持、谦退为怀的曾国藩来说，只要今后逆来顺受，处处加倍小心就是了。可是天生火爆脾气的曾国荃，却咽不下这口冤气。
首先，他向清廷托病，奏请开缺回籍调理。在清代，这是大臣们遭受委屈时，唯一表示不满的抗议方式。不想清廷略示敷衍之后，竟谕令“照准”，连一句表示慰问的话都没有，仅赏给人参六两而已。
曾国荃感到满腔冤愤，无处发泄。因此当同治三年（1864）九月初，曾国藩由安庆到南京，住进刚竣工的总督署时，曾国荃竟在大庭广众之下，厉声指摘清廷功高赏薄，是非不分，一时声泪俱下。曾国藩在旁制止不住，窘急得无地自容，尴尬万分。
后来，赵烈文与曾国藩也每每谈论到曾国荃，并在日记中多有记载，大意如下：
同治六年六月十七日，曾国藩邀赵烈文到他的卧室久谈。言及曾国荃攻金陵一事，曾国藩说：“本地人尚知感激，如果不是各营官统领猎取无厌，大肆抢掠，攻克金陵岂非万全美事。”我说曾国荃并未得到好处，但前后左右无一人对得住他。但做为长兄的曾国藩却另有一番看法，他说：“沅浦不独尽用湘乡人，且尽用屋门口周围十余里内之人，事体安得不糟，见闻安得不陋。”
九月初十日，我欲外出，曾国藩以酒饯行，肴馔甚丰，谈话尤畅。曾国藩言：“我并未受寒士之苦，中秀才、举人到中进士，几乎没有挫折。但家素贫，皆祖父、父亲操持，有薄田顷余，不足于用。常忆辛丑年（1841年）假归，听祖父对父亲说：‘老大（指曾国藩）在外为官，我家中宜照旧过日，不要向他要什么。’吾闻训感动，誓守清廉，以迄于今，都是遵守这句话。而家中亦能慎守勿失，自昆弟妻子皆未有一事相干，真人生难得之福。亲族贫困的甚多，虽始终未一钱寄妻子，但多年为官，心中不免缺憾。有幸九弟手头宽裕，将我份内应做之事一概做完，他得贪名，而我补偿素愿，都是意想不到的。家中虽无他好处，一年常无病人，衣食充足，子弟略知读书，也感到自慰。”……我见老师不讳言曾国荃的“贪”，便试探地问：“老师故乡山甚多，亦有园池吗？沅师所居，闻有大池，是这样吗？”师曰：“乡间塘泺所时有，我的九弟宅外一池，听说架桥其上，讥讽他的人以为似庙宇。所盖屋亦极拙陋，而费钱很多，并招邻里之怨。”我问：“费钱不免，招怨又是为什么？”曾国藩细道由来，说：“我乡中无大木，有的话，一定是坟树或屋舍旁多年长成，人借以蔽荫，多不愿卖。舍弟必给了价，并有了强买之嫌。树皆松木，油多易蠹，非建筑用材，别人值一缗，他往往给二十缗，又载怨而归。其从湘潭购杉木，逆流三百余里，又有旱道须牵拽，厥价格亦数倍。买田价比寻常有增无减，然亦致恨。比如有田一区已买得，中间隔他姓田数亩，必欲归己，其人或素封，或世产，不愿则又强买。而湘中官宦归者如李石湖、罗素溪等买田不知比舍弟多几倍，而人皆不以为言，舍弟则大遗口实。其巧拙有如天壤者……忆起咸丰七年（1857）吾居忧在家，吉力刚前妇贺氏，是贺长龄先生之女，平时多病，其生母来看他，并欲购高丽参。吾家人云：‘穷乡僻壤没有好药，既自省城来，何反求之下邑耶？’回答说：‘省中高丽参已为九大人买尽。’吾初闻不以为然，遣人探查，则果有其事。凡买高丽参数十斤，临行装一竹箱，令人担负而走，人被创者则令嚼参以渣敷创上。亦不知何处得此海上方。”……曾国藩此时因“剿”捻无功，外面议论纷纷，不禁勾起往事，问道：“外间言吾与九舍弟何如？”我一时语塞，不知怎么回答，“久不对”。曾国藩劝道：“只管说，我们之间难道还有避讳不成”，我说：“沅师性直而喜事，老师举动详慎，见解不同，至心地皆友爱无间。沅师虽事机逼迫，不无矢口之言，与老师的喜怒不形于色，相差就太远了。”曾国藩终于扣紧主题问我与曾国荃的关系怎样，是否欢契如初？我答曰：“初至隆礼太甚，使提镇公服投帐迎接。在彼年余，尚无闲言，惟收城之日，因争先遣马队断路及劝沅师重赴缺口弹压，十九日李秀成生擒，烈请缓其刑诛数事，颇不满意，不久亦释然。”曾国藩说：“舍弟岂容直言，左右皆彭椿年之徒，欲治得乎！今闻又用冯邦栋，吾深恶其人。”我说：“闻沅师退志亦切，烈以为未必能退。”曾国藩说：“然。”……
天京浩劫的制造者主要是曾国荃，而劝止曾国荃杀掠的恐怕只有赵烈文一人。他们攻陷安庆时就曾大抢一通，发了横财。天京之富百倍于安庆，无疑会对他们产生更大的吸引力。曾国荃所以力主冒险进围天京，甘受缺粮乏饷之苦而拒绝外援，主要就是为了独得天京财货。因而，他在破城之后放纵士卒烧杀淫掠，而反对整顿秩序。这场浩劫刚刚开始不久，即六月十六日夜间，赵烈文就请他亲自出面，制止部下的胡闹，赶快整顿秩序，加强各处的守卫，以防止太平军残部乘机而出。结果遭得他的坚决拒绝。第二天，赵烈文又亲拟制止滥杀、保护妇女等四条，要求曾国荃榜示街衢，以为禁令。曾国荃又拒绝“止杀”一条，致使其他各条皆流为空文。几天之后，曾国荃虽然签署了告示，贴遍全城，禁杀良民，禁掠妇女等，但却无人遵守。甚至连曾国荃手下的几个大将，如彭毓橘、易良虎、彭椿年、萧孚泗、张诗日等人都“惟知掠夺，绝不奉行”。赵烈文曾想将各营掠夺的妇女搜查出来，遣送回去，不料到处碰壁，无人支持，连曾国荃亲自委任的“善后总办”彭毓橘、陈是等人也极力推诿，骂赵烈文“不识时务”。其实，赵烈文既非天生善人，亦不同情太平天国革命，只是身为苏南绅士，又受曾国藩委托，欲稍维护一下家乡的地方利益和曾国藩个人的政治声誉，免遭舆论的攻击。曾国荃却因而对他极为反感，二人的关系弄得很僵，直到曾国藩赴天京巡察时，才勉强为之和解。
在这次奸淫掳掠中，曾国荃部下最突出的代表是肃孚泗和李巨典。萧孚泗一冲进天王府就大肆抢掠，“取出金银不赀，即纵火烧屋以灭迹”。李秀成被陶大兰等人出卖捆送萧孚泗营之后，孚泗不仅谎报系自己派队擒获，还派人将陶大兰等人及其家属“全数缚至营中，邻里亦被牵曳，逼讯存款，至合村遗民空村窜匿”。对于这些出卖太平军将领的家伙来说，欲得赏钱反遭拷掠之苦，自属罪有应得。然而，此事却暴露出萧孚泗贪婪无耻的面目，以致赵烈文都骂他“丧良昧理，一至于此，吾不知其死所”。李臣典则是个贪色无耻之徒。攻破天京后，他随意掳掠妇女，终因奸淫过度而致病，十余天后死亡。当年李臣典才二十七岁，壮年遽亡，引起种种议论，曾国藩兄弟和一些无聊文人曾为其多方掩盖，说他是因开地道受伤而亡。但真相终究是隐瞒不住的，朱孔彰在《中兴将帅别传》中就直言不讳地揭露了此事，所谓“公恃年壮气盛，不谨，疾之由也”，即是说他自恃年青力壮，奸淫妇女过多，是其生病致死的根本原因。