当案子还没了结之时，左宗棠想到自己落到这步田地，感到官场险恶，忧心忡忡。他实在不想在官场混下去，于是以要去北京会试为由，向骆秉章提出辞职，并推荐刘蓉代理他的职位。左宗棠于咸丰九年（1859）十二月二十日搬出了湖南巡抚衙门，从而结束了他的幕客生涯。为了这个案子，骆秉章也被连累，于第二年调抚四川。
左宗棠离开巡抚衙门后，先用几天时间扫祭祖墓，然后于咸丰十年正月，由长沙北上，说是赴京会试，但到三月才抵达襄阳。他本想去见胡林翼，但此时正是胡丁母忧期间，概不会客。左宗棠只好先去信说明来意，胡林翼不能置之不理，但被太太陶夫人所劝阻。她说：“季高性子偏激人所共知。此刻正遭横祸，如果胡公直接出面，使人怀疑老爷袒护他，相见之下，恐怕惹出事来。”胡林翼听了也以为然，就写了一封密信函给襄阳毛鸿宾，要他劝阻左宗棠北上。信中大意说：“小人网罗四布，如果前往北京，必将自投罗网。只能暂时容忍，静待机会以图东山再起，才是办法。”而与此同时，曾在云贵总督林则徐幕府和陕甘学政罗文俊幕府出谋划策的王柏心，则对左的遭遇深表同情，在给左的信中说：“自古以来，功高总有人嫉妒，不应当因微言而消极退隐。为了实现自己的志愿，还是去投奔胡林翼或曾国藩，赞划兵谋，等到将来克敌成功，再告归乡里，以正海内外视听，那就和现在退隐大不相同了。”左宗棠看了这两封信，尽管四顾茫茫，深感寒心，但在进退两难的情况下，还是采纳了王柏心的建议，沿江东下，投奔曾国藩去了。
当樊燮京控案结案后，即涉及到了左宗棠的出路问题。此时左宗棠已有意随同曾国藩攻打太平天国。咸丰十年（1860）四月二十日，清政府命兵部郎中左宗棠以四品京堂候补，随同曾国藩襄办军务。但曾国藩却在是否任用左宗棠襄办军务的问题上，顾虑重重，踌躇不决。他承认，长期以来左宗棠在湘抚张亮基、骆秉章幕府，大力支持他筹建湘军，湘军“出征”后，为湘军募勇、集饷，厥功甚大。咸丰四年（1854）三月，曾国藩兵败靖港，投水自尽，湖南布政使徐有壬、按察使陶恩培准备参劾曾国藩，“罢遣湘军”。就在他兵败自尽的当天，左宗棠却从长沙缒城而出，赶往铜官渚，安慰、鼓励他整军再战，雪里送炭，盛情可感。但他又认为自己与左宗棠的思想基础不同。左宗棠言大志高，个性刚强，难以驾驭，虽说谋略甚深，但缺乏实战经验。
再者，他与王鑫发生矛盾时，左宗棠右王而非曾。所以，清政府虽然于四月二十日命左宗棠随同曾国藩襄办军务，但是曾国藩却不肯上奏表态，态度暖昧。在这一关键时刻，胡林翼去信督促。六月三日，胡林翼致书曾国藩说：“左季高，谋人忠，用情挚而专一，其性情偏激处，如朝有争臣，室有烈妇，平时当小拂意，临危难，乃知其可靠，且依仗季公，其功可成。”对此，曾国藩不能不慎重考虑胡林翼的推荐。
自从咸丰四年春湖口、九江溃败后，湘军水师主力全仗胡林翼从中护持，不仅修复了残破战船，并使水师实力得到长足发展。罗泽南领兵支援胡林翼时，兵数仅有五千，后来发展到八千，此外，尚有鲍超部霆军五六千、李续宜部三千左右。胡林翼扩编湘军水陆师时，提拔重用湘军将领，保持了湘军营制，使湘军仍奉曾国藩为统帅，所以曾国藩东山再起时才有兵可用。七年曾国藩被削除兵权后，胡林翼在暗中输饷，维护江西湘军，奏请起用曾国藩。曾国藩东山再起后，胡林翼利用与官文的关系，为曾国藩谋位谋权。九年曾国藩不去皖南、皖北，不去四川，而是领兵进入鄂、皖交界地段，与胡林翼联合作战，也得力于胡林翼的暗中支持。曾国藩即使当上两江总督，而依靠胡林翼之处也很多。就他与胡林翼的关系，与左宗棠的交谊，以及他统率的湘军的处境而论，权衡利害得失，他不能不俯从胡林翼的请托。如果他把左宗棠拒之千里之外，不仅开罪胡林翼，并将受到湖南官绅舆论的指责。经过反复“格物穷理”后，咸丰十年（1860）六月十六日，曾国藩上奏《请留左宗棠襄办军务》，这时左宗棠已经在湖南筹建新军了。
咸丰十年（1860）五月下旬，左宗棠开始在长沙大举招兵。他参照王鑫老湘营的营制，兼采曾国藩的湘军营制，共计成立四营，每营弁勇四百名，营设营官。另设四总哨，每总哨计有弁勇三百二十余人，总哨以哨长为首。总哨类似王鑫老湘营的旗，故有时亦称为旗。另精选勇士为八队亲兵，共二百人……以奋勇著名者为队长，每队二十五人，供临阵冲堵之用。营官、总哨哨长为李世颜、罗近秋、崔大光、黄有功、黄少春、张志超、朱明亮等。左宗棠认为，“凡为统将者，必亲募人数多于增附人数，然后运调易而呼应灵”。故仅吸收王鑫遗部四旗，一千四百名。此四旗“营制、旗色一遵其旧”，唯旗长四名，则由左宗棠亲自选定委派。这一千四百名沿用王鑫的称谓，称老湘营。因左宗棠筹组湘军时兼采王鑫遗制，部队中有王鑫遗部四旗，所以习惯上称左宗棠系湘军为老湘军，以别于曾国藩嫡系湘军。
左宗棠筹组的湘军，虽然也吸收了曾国藩筹组湘军的经验，但与曾国藩嫡系湘军也有许多不同之处。
第一，营制不同。曾国藩部湘军的编制有营而无旗，左宗棠系湘军则营、旗兼用，在指挥上较为机动、灵活。
第二，选择营官标准不同。曾国藩选择营官的标准是：“第一要才堪治民。第二要不怕死。第三要不急急名利。第四要耐受辛苦。”他说：“带勇须智深勇沈之士，文经武纬之才……大抵有忠义血性，则四者相从以俱至。无忠义血性，则貌似四者，终不可恃。”故曾国藩重用儒生为营官。左宗棠选择营官、总哨长，“多用武人，止取其能拼命打硬仗耳”，如崔大光，“粗而狡，姑取其能战，录为营官”。不过，其能战而不受钤束者，决不收录，如湖南巡抚骆秉章推荐的“冲天炮”李金镛虽然能战，但是“难以钤束调驯，”予以“婉辞谢绝。”
第三，在弁勇分营问题上，曾国藩采取按照籍贯分营，如由宝庆招来的弁勇，编成一营，称为宝勇；平江招来的弁勇，编在同一个营，称为平江勇。其目的无非是利用宗族乡党、戚谊等封建关系，固结军心。左宗棠不满这种做法，他写信给胡林翼说：我部多用骁士，“名为楚军。数处尽用湘乡勇丁，无论一县难供数省之用，且一处有挫，士气均衰，非计也”。
第四，左宗棠精选勇悍者组成八队亲兵，表明在今后与太平军发生战斗时，双方如果打得难分难解，他将督率亲兵参加战斗。曾国藩则不善临阵指挥，故没有组织这种供临阵“冲堵之用”的亲兵队。
在筹组部队时，左宗棠很有自知之明，他觉得自己带兵作战，顾虑甚多。他说：“频年戎幕”，并无实战经验，若论规划调度，尚有几分把握。若临阵指挥，分合进退，缓急多寡之节，能合机宜与否，尚难自信。从前欲以五百人之长学战，归人统领者，原欲以增益其所不能。“今选募五千，自为统带，譬如乡居富人，弃农学贾，起手即开大店，生意虽是好做，恐不免折阅之虞。”于是，他求助于王鑫之弟王开化。
左宗棠与王鑫兄弟的私交，非同寻常。早在咸丰三年（1853）曾国藩筹组湘军与王鑫发生矛盾时，左宗棠即在暗中护佑王鑫。曾国藩排斥王鑫后，左宗棠支持王鑫独立成军，并为该军筹粮集饷，供该军留在湖南“防剿”之用，更兼两家是儿女亲家，所以，七年王鑫去世后，其部将大多亲附左宗棠。故左宗棠筹建老湘军时，特地邀请王开化助他一臂之力。
王开化，字梅村，是王鑫之弟，长期随王鑫作战，为王鑫所倚重。左宗棠致书王开化说：“亲家大人如垂念壮武旧交，不忍坐视其颠越，惠然好我，请以一军之事奉托，兄从其后而学战焉……如以行间劳苦，不乐久居，请以半载为期，待略谱打仗战役数，即以安车送先生归里，断不敢藉词作无益之纠缠。”王开化答应了左宗棠的要求。左宗棠遂以王开化总理全军营务，以刘典为副；以王开琳统率王鑫遗部四旗。他在长沙金盆岭训练所部一个多月后，于咸丰十年（1860）八月统率全军从长沙出发，进向皖、赣交界地区，增援曾国藩。
左系湘军的骨干王开化、王开琳等，与曾国藩向来不睦。左系大将刘典、杨昌浚、蒋益澧等，虽曾随曾国藩作战数年，却不为曾国藩所重视，故对曾国藩也不满。以上这些人事上的因素，也影响到后来曾、左间关系的恶化。
曾国藩从来重视营制，一贯强调营制须划一。但他在皖南因兵力、将才不足，被太平军打得窘态毕露，所以左宗棠虽然变动了营制，曾国藩也不能不略为迁就了。
正当左宗棠筹建湘军并加紧训练的时刻，太平军将领石达开有从贵州前往四川亲自督战的迹象。清政府鉴于该地局势严峻，左宗棠有独当一面的军事才能，故有意将他调到四川去督办军务，以图扭转西南战局。曾国藩得知这个消息以后，认为左宗棠必然会从他那里脱身前往。因为留在自己军中只是襄办，而去四川却是督办，哪有不去之理。不料，左宗棠却写信给胡林翼说：“蜀乱已久，宗棠资望既浅，事权不属……明知其无济而冒然应之，在己为不智；知我之无济而冒然以我应之，公等之谋国亦未得为忠也。涤公与公书以在吴为襄办，入蜀则有督办之名，疑彼人将去此而就彼。不知襄与督虽同有事而无权，而能办与不能办，实不争此一字之轻重。”并称：“幸为我致意涤公，我志在平吴，不在入蜀。”有大才略的人，处事确能高屋见瓴，于自己的境遇、才能有深切自省，对形势发展的判断如同己然，正因如此，登高一步，天地即度。左宗棠就是这样。他在给友人书中说：“十余年事变纷然，总想纵身一跃加以拯救。顾念所学未就，不能及远，权之不逮，不得自专。志在一乡一郡尚差不多，何谈其他？但不能因此自消大志。己所不能，希望他人能，而那些能者，要辅佐、帮助他们。”有了这样的志向，左宗棠不为所动，决意继续留在曾门。而曾、胡两人也确实因前方军事正急，舍不得让他离去，因此联名上奏，将他留下，让他率领“湘军”支援安徽，未去四川。左宗棠虽是“督办”不从，而居“襄办”，但却实现了他独率一军亲临前线的愿望。