这时太平军西征节节胜利。咸丰四年（1854）二月在黄州大败清军，湖广总督吴文镕投水死。咸丰急不可耐，亲笔朱批督促曾国藩出兵的上谕如连珠而下，一会儿说是：“曾国藩素明大义，谅不至专顾桑梓，置全局于不问，北重于南，皖鄂重于楚南，此不易之局也”。一会儿又说：“此时得力舟师，专恃曾国藩水师一军，倘涉迟滞，至令汉阳大股窜踞武昌，则江路更形阻隔。朕既以剿贼重任，畀之曾国藩，一切军情，不为遥制”。甚至说：“曾国藩以在籍绅士，专顾湖南，不为通筹大局之计，平日所以自许者何在？”几同于哀求。曾国藩至此踌躇满志，遂于二月率湘军倾巢出动，于太平军激战于湘潭、靖港等地，双方伤亡惨重。九月，湘军与湖北清军又反扑武汉，武昌、汉阳相继失守。咸丰五年（1855）初，湘军进逼九江，此时曾国藩的气焰更加嚣张，叫嚷要“肃清江面，直捣金陵”。
咸丰帝最初要各地组织团练的原意，是为了维持地方治安，但到此时不得不依靠湘军出省作战，表明清廷穷蹙到了极点。然而，客观形势却造成了曾国藩与湘军的崛起，到太平军失败时，曾国藩直接指挥的湘军就达10余万人，而湖南省参加镇压太平军的人数则达20万，相当于全国绿营兵的三分之一。除了李鸿章的几万淮军外，清廷在长江流域和江南的战局，几乎完全依靠湘军支撑。从此清朝军事的中心从中央移至地方，给晚清政局带来了极为深远的影响。而湘军强盛之由在于水师之建，水师又始于郭嵩焘的建议，而始作厘金，也始于郭嵩焘。
由于清政府不惜倾全国财力兵力镇压太平军，至三年六月间，已拨军饷2963万两，户部库存正项待支银仅剩22.7万两。而战事仍在不断扩大，户部日形见绌，便以空文指拨，但久之空无可指，诸将帅亦知其无益，乃各自为计，其计有二：捐输、厘金。捐输即劝有钱的出钱，补助政府财政馈乏之缺。但富豪多与政府勾结，或本家就有人当官，从来只知道从别人身上搜刮，现在要从他们身上拔毛，谈何容易！捐输之道难行，那就只好向民众开刀。但农民破产，铤而走险的日多一日，如再向他们摊派新捐税，无异火上浇油。思来想去，唯有向还剩一线生机的商人伸手，增加厘金。即“于行商坐贾中视其买卖之数，每百文捐取一文，而小本经纪者免。居者设局，行者设卡，月会其数，以济军需。所取甚廉，故商贾不病。所入甚钜，故军饷有资，源源而来，取不尽而用不竭……”这是对商人征收的一种新税，货物值百抽一，无论坐贾、行商皆在劫难逃，说是小本经纪者免，实际上一开征收，任谁也难免。
这个办法，据清代官书记载，都认为是帮办江北军务刑部侍郎雷以咸采用幕僚钱江的建议首创的，实际上同时或先后想出这个招法的人不只一个，湖南厘捐就是郭嵩焘最先出的主意。大约在咸丰三年（1853）四月间，时郭嵩焘在湘阴家居，他虽“不复以仕宦为意，而于经营国计，保卫地方，无敢稍释于心，始终未一任事，而在湖南筹兵筹饷，一皆发端自鄙人。曾文正公始出，提用经费，支绌百端……黄南坡（冕）任铸炮，私设厘局常德，嵩焘以为此筹饷之一大端，言之骆文忠公（秉章），开办通省厘捐”。从此，郭嵩焘几年之内，东奔西走，以厘金为主，为湘军积极筹饷。湘军之所以能在前方放手屠杀太平军，与郭嵩焘这位后勤部长在湖南筹饷有直接关系。他的弟弟郭崑焘也与乃兄一样卖力气，亲自负责湘省厘金总局。郭嵩焘说曾国藩“办理军务，终赖此三项（湘省厘捐及粤、淮盐厘）以济军食，而湖南亦恃此以为富强之基，支柱东南数省”。这话不是吹牛。他曾与人洋洋得意地谈论过征收厘金的“高妙”之处：“今天下之利一出于商贾，取之以厘计，至约也。所取于商贾者，为厘以二三计；商贾所加于民率四五计。是仍取之于民也，于商贾何害？然使竟取之于民，则足以致乱，取之商贾，而民安焉。是又可使由之，不可使知之也”。这种变相取之于民的榨取方法，确实比一般赤裸裸的搜刮高明。郭嵩焘不仅能想出这种点子，而且能从“理论”上给予说明，认为是得了孔孟愚民政策的真谛。即有“实践”，又有“理论”，难怪曾国藩等人争相请他入幕府，当高参。
自雷以咸、郭嵩焘等人倡办厘金之后，各地统兵大员竞相效仿。咸丰四年（1854）后，厘金在河南、江苏等地广泛推行，而且得到了清政府的正式批准。从五年起，湘、鄂、川、赣、奉、吉、皖、闽等相继仿行。七年，胜保又奏准在全国各省一律办理。厘捐本是临时性筹款，不算正税，但太平军失败后，清政府并未撤销，反而变本加厉，征收范围日广，税额也各地不等，严重阻碍了民族工商业的发展。直到清政府覆灭，中国资本主义发展中的这块绊脚石始终未能被踢开。
从咸丰三年（1853）到六年，郭嵩焘一直奉曾国藩之命，在湖南、浙江等处办理捐务、盐务为湘军筹军饷。同时为曾氏兄弟献计献策。咸丰四年（1854）春，曾国藩督师东下，郭与刘蓉同行。至岳州，刘留曾营，以赞军务；郭则归里，治饷湖南。五年秋，曾国藩水师溃于湖口，间道走江西，收揖郭嵩焘之军，郭驰赴南昌相见，曾国藩甚喜，作《会合诗一首赠刘蓉郭伯琛》。诗的后几句是这样的：
困穷念本根，风雨思君子。
艰难复相逢，得非天所祉。
回首廿年前，志亢声亦侈。
忧忠阅千变，反听观无始。
郭嵩焘亦作《会合诗一首奉和曾少司马》。诗中云：
微生砚朝绿，守拙归田里。
结发贤哲徒，涉念每日喜。
谐谈契性命，此外均敝履。
浮名浸推许，力薄宁办此！
与世相背趋，放浪安所止。
欲持微贱躯，为人负弩矢。
髀肉虽丰硕，其实易与耳。
艰难纪会合，高论谅非侈。
人事如转园，谁能究终始？
顾惟蹇劣姿，野哉砼砼鄙。
群材斐然集，内省为愧耻。
同时，刘蓉亦作《次韵和曾涤生侍郎会合诗呈郭筠仙编修，兼简罗研生别驾》，诗中有“故人千里来，宛转相依倚，苦语杂讥嘲，中夜掀髯起”之句。郭嵩焘也《再和会合诗奉答刘孟容兄》：“东西楚连疆，中间亦千里。闻来杂疑信，乍见各悲喜。”时人余云焕读郭嵩焘等《会合诗》，撰《味疏诗话》，称此诗“造语奇倔，神与古会，直登昌黎之堂而入其奥”，“读之可想见轻裘缓带、雅歌投壶气度”。虽说是游戏之作，但仍真切地写出了当时江西战局的险恶与湘军处境的艰难。
咸丰六年（1856），郭嵩焘奉命赴上海，为湘军购置洋枪洋炮，开始结识西洋人，同时也接触到了自然科学知识，这使他在思想上受到很大震动。