曾国藩在艰难与奋发中又度过了两年。
咸丰七年（1857）曾国藩被削除兵权后，在籍守制。闲居家乡，感怀故旧，便写信给李元度说：“自维即戎数载，寸效莫展，才实限之，命实尸之，即亦无所愧恨。所愧恨者，上无以报圣主优容器使之恩，下无以答诸君子患难相从之义。常念足下与雪琴（彭玉麟），鄙人皆有三不忘焉。下当靖港败后，宛转护持，入则欢愉相对，出则雪涕鸣愤。一不忘也。九江败后，特立一军。初志专在护卫水师，保全根本。二不忘也。樟树镇败后，鄙人部下别无陆军，赖台端支持东路，隐然巨镇，力撑绝续之交，以待楚援之至。三不忘也。生也有涯知也无涯，此三不忘者，鄙人盖有无涯之感，不随有生以俱尽。”又在《复李次青太夫人书》中指天誓日，不忘李元度长期相随，历尽艰险，维护曾国藩与湘军的恩德与苦心。信的结尾说：“闻次青有两儿，不知有女几人，或平辈，或晚辈，有相当者可缔姻而申永好，以明不敢负义之心。”
在《曾国藩家书》中，这位湘军总头领也多次盛赞李元度，这从他写给曾荃的信中便可见一斑。
十月初六日信中说：
锋镝之中，极为危险，家庭之内，极为安乐，弟又何必与军事连在一起？李次青上年发愤带领兵勇，历尽千辛万苦，前些日在抚州一次败仗，就身辱名裂，不但官绅议论纷纷，就连他本县平江的兵勇也怨骂交加。用兵如用火，容易见到过失，难以见到功效。弟的才能不及次青，而所处地位，还不如次青能自行其志，如屯兵于吉安城下，久久不能决定自己去向，把小仗小胜作为功苦，把劝捐办团练作为能耐，对内有背于兄弟相助之情，对外造成骑虎难下之势，无论私情还是公谊，两方面都不无可取之处。
正月十一日信中说：
李次青的才学实不可及，我在外数年，只有面对他感到惭愧，弟可常与他通信，一方面略表我的欠疚，一方面遇事可以请益。
二月十七日信中说：
次青是个很难得的人才，带兵打仗虽然不是长处，但百折不挠。他在我这里，更是肝胆相照，使我非常感动。我在外面这几年，非常惭愧，没能很好的报答他。去年腊月我派韩升到李家探望，送了些礼物。又与次青定下婚姻之约，以表示永远友好。眼下两家儿女没有年龄适合的。将来他或者能有男孩，弟的次女、三女可与他订婚，我在信中已经答应。你在吉安，希望常常与他通信。派专人往返，十多天就可回来。只要次青能生还与我相见，那同甘共患难的这些人中，就不至于留下莫大的愧疚和遗憾了。他的长处是精力坚强，聪明过人；缺点是举止轻佻，言语伤人，恐怕咏公也不可能十分看重他。
三月十三日信中说：
劝次青从军的是我，如果东路能得到安定，次青回来，推心置腹的长谈，我这些心事方可略有些开释。弟在吉安，应经常致信给次青。我上次写信求润公保举次青。听说润公最近解救万金到贵溪一线，奏派次青防范浙江一路。堂堂正正的提拔，次青于是可以增光了。
曾国藩在江西时因受太平军的围攻，时刻都有被捉拿的危险。又身处异地作战，所需饷项均仰仗当地长官，可以说，这是他最困难的时期。幸而有李元度独领一军，四面迎战，稍解倒悬之危。江西巡抚就曾上疏称赞李元度“以三千被饥之卒，当悍贼数万，自有战争，未之前闻。”曾国藩也说：“次青以一军守两处之城，均得保全，勋名大著。前日浙抚以救浙之功，保次青以道员归于江西，请旨简放。此次守玉山，余亦当优保之。次青久屈得伸矣。”
此外，李元度还是一个不可多得的“经济”人才。他独成一军，欠饷二十万，为此，他想出增加学额让捐生捐钱的办法，以弥补欠饷。曾国藩认为棋高一筹，便写信让他的九弟相应效法，并答应自己拿钱，同时劝好友捐助若干。曾国藩在信中言：
次青一军欠饷银二十万，很难弥补。次青设计一绝妙方法，捐十万两银请增加平江县文武学额各十名，又捐五万两银请增加岳州文武学额各五名。根据咸丰三年（1853）规定，捐银万两，除去该捐生自家给予应得仪叙外，其所在本县也可增加文武学额各一名。去年今春，湖南办理捐输加额一案：长、善、阴、浏、潭、醴六年各加学额十名（捐银十万以上者，加额亦以十名为止），湘乡加三名，平江加一名。由于湘乡仅捐银三万，平江仅捐银一万，数目太少。次青用此项应得的口粮银出捐，加县学十名、府学五名，真可以在学宫前享受香火，流芳百世了。兵勇们听说可以立碑于学宫，也都很愿意。这件事如能办成，真是件好事。以前咸丰三年，平江因团防出力，加文武学额各三名，是次青办理的，我协助而成。五年时，湘乡援引平江之例也加额三名。弟营现在欠饷银多少？如在七八万以上，那就请各部兵勇协商，令其捐出。捐出七万，可增加文武学额各七名，加上今年春天新增的三名，也是十名。同长、善、阴、浏、潭、醴六地相等。加上五年特别奏请的三名，共有十三名。弟若办成这件事，也可以在学宫前享受香火，流芳百世了。如弟营不能捐出这样多，那么就带头捐二、三万，我再劝迪、希、浚、凯、玉班等人各捐银几万两、凑成七万之数，也可以办成这件事，不要让次青专美于平江。次青的报告现在不在这里，等从玉山取来后，再派专人送往吉安，与弟看阅，以为蓝本。
在《曾国藩家书》中，还能看到李元度为曾处理章奏文书所起的作用。曾说自己往年用心太过，累年衰耗，又加上肝气忧郁，目光昏花。“近日得到次青、意城、仙屏三人相助料理。凡公文信件，我心中所要作的，三人笔下都能表达得十分清楚，才感到有些舒畅了。但是意城有送到玉山即归的约定，目前也表明归志。次青也想回乡探母，我与仙屏两人无力一一办理一切。弟克城后回家住上两个月，赶快来军营帮办一切。替换次青得以回家省亲。那样兄这里的事，还可判决如流水。”