赵烈文别后数年，已无意再返幕中。不料咸丰十年（1860）太平军席卷苏、常，赵烈文无处安身，全家逃往上海。此时的曾国藩已任两江总督，授钦差大臣，实权在握了。一个有才略的人，一旦有了相应的职位，就会做出一番出色的事业。但回首当年，事事受制于人的窘态，也令其伤心之极。
咸丰九年（1859）十月，曾国藩驻扎巴河时，偶与李榕谈到当时的政治问题，遂勾起了他的满腹心思。他在当天的日记中写道：“申夫（李榕字）自黄州归来，稍论时事，余谓当竖起骨头竭力撑持。三更不眠，因作一联云：养活一团春意思，撑起两根穷骨头。”移驻黄梅之后又在日记中写道：“思身无际，甚多抑郁不适于怀者，一由偏浅，一由所处之极不得位也。”毫无疑问，所谓“所处之极不得位”，就是指统兵而未能兼管地方，不能做到“事权归一”，“操持在我”。
咸丰十一年（1861）六月，赵烈文因受好友金安清之托，为求曾国藩就盐政某事上一奏折，才不得不于七月来到东流大营，拜见曾国藩。曾国藩对赵的到来极为欢迎，多方劝其留在幕中，并特专折奏调籍隶常州的周腾虎、刘翰清、赵烈文、方骏谟、华衡芳、徐寿六人赴安庆大营委用。其时，周、赵、华、徐四人已到了安庆，他这样做的目的除招揽其余二人速来幕府外，主要还是为了表示对此事的重视。赵烈文表示欲先赴湖北看望胡林翼，答应归来后就充任曾之幕僚。于是赵烈文便和欧阳兆熊于九月二日一同前往武昌。
欧阳兆熊，字晓岑，湖南湘潭县人。道光十七年（1837）举人，曾任湖南新宁县教谕。道光十九年曾随邓显鹤刊刻《王船山遗书》，未成，咸丰四年（1854）版毁于火。十年，曾国藩困守祁门，人手缺乏，遂致函欧阳兆熊，邀其赶赴军营商榷要政。十一年二月，欧阳兆熊行抵祁门入幕，为曾国藩草拟文件，出谋划策。他还是曾国藩青年时代的朋友，颇懂医道。
其时，正值胡林翼病危之时。他在给官文的信中曾说自己“气喘神散，决不能久活。”在给曾国藩的信中也说：“贱恙桐城王医与作梅均言心肺脉模糊，此是最重之症，用一分心即增一分病，用十日心即增十日病，然愿即军中以毕此生，无他念也。能请假交印不管事三个月，或可望痊。”
进入五月，胡林翼开始咯血不止。曾国藩在华阳镇与胡林翼相会，时曾国藩的癣病正大发。曾在日记中说，“至胡帅船中，久谈。渠昨夜吐血甚多，委顿之至，为之忧惧。申刻，又与久谈。”十七日又云：“至胡帅船两次，久谈。余性怕热，今年遍身疮癣剧发，本日酷热几若无以自存活者。中丞日内吐血甚多，余之狼狈反更甚焉”。八月二十六日，胡林翼不治身亡。
十一年八月，临终前的胡林翼，正值国难当头，对大清的江山表示了异常的忧惧。他在写给曾国藩的绝笔信中说：“……惟七月十七日之事，主少国危，又鲜贤辅，殊为忧惧。”而曾国藩等对胡林翼的评价也甚高，说他“赤心以忧国家，小心以事友生，苦心以护诸将，天下宁复有斯人者哉？”
但直到九月初三日，曾国藩才收到卜闻。而欧阳兆熊与赵烈文却未睹其生，后参加了胡的葬礼。
赵烈文在幕府中的工作主要是为曾国藩草拟有关对外事务的奏折。咸丰十一年（1861）八月，赵烈文在东流大营上书言事，内容涉及内政、外交及战守、饷需、用人等方面，有些问题，如对“发捻”与“西夷”的基本看法与方针很有见地，且带有战略性质，关乎全局。如赵在上书中一再强调说：“捻匪器科技精，马骑千群，发如飘风，集如骤雨，然凶滔恶虐，无自成之心，是足以乱我而不足以病我也。”所有这些都不能不使曾国藩为之动心，并自觉不自觉地受其影响。