杨玄感怕被隋军包围，攻城不下，只好撤围西进。行至陕州一带，又贪图此处弘农离宫的金玉财帛，强攻十数日不下，从而耽延了时日，使大军陷入了困境。西有卫文升迎头拦截，后有各地勤王之师尾追而来。他的军队钻进了隋军四面包抄的大口袋。顿时军心大乱，兵士们纷纷弃戈逃散。最后，只剩下身边的十几个亲信，逃到一处山林之中。杨玄感见大势已去，长叹一声：“悔不该不听李密之言，致有今日之败”，遂拔剑自刎。
乘混乱之时，李密换上一身早准备好的书生衣装，在苍茫夜色中逃出重围，潜至一个山村做教书先生，等待着重新振翮九霄的时机。
不久，他听说河南瓦岗（今河南滑县）一带，翟让率众造反，声势浩大，而且他的老朋友王伯当已先期参加了义军，便只身前往瓦岗，投靠在翟让麾下。
但是，李密名气太大，人们都知道他野心勃勃，绝不甘心久居人下。他的到来，令翟让周围的一些人深感忧虑，纷纷劝翟让杀掉李密，以免除后患。
一天夜里，老朋友王伯当将李密约至寨外密林中，从怀中掏出一锭白银，双手呈上道：“李兄快走，此处凶险，非兄久留之地。”
李密甚觉诧异，忙问其缘由。王伯当说道：“翟让那帮心腹们，皆是鼠辈，目光短浅。因知兄长盛名，嫉贤妒能，必欲加害于你。还请李兄从速脱身。”
李密叹口气道：“我早已深思熟虑，天下之大，唯瓦岗方是我李密的立身之地。贤弟放心，我这里有一纸密策，请你转交翟首领，只要看过之后，保他不再妄生加害之心。”
王伯当将李密的书札交给翟让，翟让仔细看过，见上面写道：
“当今昏君独裁于上，而下民则怨声载道。国之精锐皆调往辽东，朝廷又与突厥结怨。值此生死存亡之秋，杨广却值两京于不顾，仍巡游江南，终日花天酒地，纸醉金迷，正是豪杰之士奋起逐鹿之良机。以阁下之雄才大略，士马精勇，若能联络各地义军，收归诸寨小盗，出兵两京，诛灭暴君，必可统一天下。李密不才，愿竭尽驽钝，助阁下成就不朽之功业。”
接着，又详细地陈述了袭取两京的具体计划和步骤。翟让读后大喜，对李密十分敬慕，并派他至瓦岗周边去游说各寨小股义军。凭着李密一副如簧之舌，竟有十几彪人马纷纷前来归附。
就是在这个时候，魏征、徐世勣、秦叔宝、单雄信、程咬金、罗士信等一大批英雄志士，因慕李密之名，先后投奔瓦岗军。
一时间，瓦岗寨里不仅人强马壮，而且谋臣如云，武将如雨，真正算得上人才济济。
乘此机会，李密再进一策：
“如今山寨人马愈重，而粮秣不足。若旷日持久，则人马困弊，士气低落，万一骤临大敌，败亡难免。不若借士气旺盛之时，先攻取荥阳。然后休兵聚粮，待兵勇马肥再与天下英雄一争长短。”
翟让立即采纳李密的建议，率兵大破金隄关，一鼓作气，攻占了荥阳郡内所有县城。
荥阳太守杨庆及通守张须弛，闻讯后急忙集中兵力，前来征讨。
翟让以前曾数次被张须随打败过，吃过他的大亏。一听说他又亲自带兵前来，心内惧怕，便欲遁避。李密却深不以为然，说道：“张须弛此人勇而无谋，部下又骄傲无防，定可一战而擒之。阁下只管列阵以待，我自有妙计破之。”
翟让无奈，只好回师备战。而李密则暗中调遣三千人马埋伏于附近密林之中。
双方刚一接战，瓦岗军佯做不敌，怆惶败退。张须弛乘胜追击。不料森林中三千兵马突然杀出，前后夹击。瓦岗军士气大振，杀声雷鸣，震荡峡谷。隋军猝不及防，部众溃乱，就像一群戳了窝的马蜂，嗡嗡乱钻。张须弛单枪匹马欲逃，却被一箭射于马下，毙命阵中。
不久，越王杨侗派虎贲郎将刘仁恭率三万余步骑前来征讨，又命裴仁基统兵二万出成皋，企图对瓦岗军形成东西夹击之势。
李密临敌不慌，将部众分为十队迎战。命徐世勣、王伯当、单雄信、秦掇宝、程咬金、罗士信各引一队人马，为左右军，而自领中军，与刘仁恭展开决战。结果一战而胜，刘仁恭全军覆没，仅只身逃脱。
李密原本就以家世才智、文韬武略为群雄所服，此次决战大胜之后，更是威名远震。翟让自知山寨中将士早已把李密视为实际上的瓦岗军领袖，自己已形同傀儡，便主动让贤，与众首领们共推李密为山寨之主。这样，李密便于巩南设坛场，祭拜天地，即位称魏公。不久，翟让又生反悔之心，与他的心腹们图谋夺权，被李密察觉。李密便利用一次庆功宴会，将他们一网打尽，尽行斩杀。
自是，瓦岗军声势越来越大，横行于黄河以南，与隋军主力展开了大小数十次决战。最近以来，又兵逼洛阳，决心拿下东都，称霸中原，然后四面扩张，扫荡群雄以谋取天下。
细想着李密这些富有传奇色彩的经历，唐俭一路上心中打鼓。像这样一个叱咤风云的当世英雄，麾下又多有识见不凡的智谋之士，仅凭唐公的一纸书信和自己的三寸不烂之舌，能说得服他吗？不管怎么样，自己要竭尽所能。唐公说得颇有道理，充分利用他的骄矜自大的心理，以此或许能不辱使命。
距洛阳城尚有四五十里，唐俭已远远看见，满山遍野，寨栅环列，旌旗高扬，猎猎而舞，岗阜上，丛林中，正在演练的步骑人马，杀声阵阵，嘶鸣萧萧。
唐俭自报来历之后，在一名侍卫军校的引领下，来到中军大帐。见过李密，施礼已毕，便呈上了唐公李渊的书札。
李密仔细看过书信，面呈喜色。自从听说李渊在太原起兵之后，他便多了一块心病，本能地感觉到在他图谋天下的过程中，平空又生出一个强大的对手。眼下虽然与王世充胶着在洛阳，无遐西顾，但李渊却一直是蒙在他心头的一道挥之不去的阴影。
如今见李渊在信中主动推他为天下盟主，并约他合兵西取长安，心下自然高兴。但以他的狡黠多谋，自然不会轻信。他直盯着唐俭的双眼，冷冷地问道：“唐公李渊为何要推我做天下盟主？”
这原是在意料中的问题，唐俭随口答道：“魏公雄才大略，当世无双。又拥兵数十万，麾下兵精将勇，人才济济，居四海群雄之冠。今日天下为牧，非魏公而谁？”
“不然。自古唯江山、美人，从无擅让之理。唐公亦是雄视天下之人杰，此次挥兵西进，夺取长安不为难事，为何不自登大宝，南面称尊？”
“王者天命，非人力可致。魏公姓名皆合图籙，正是上应天命之人，唐公不是糊涂人，岂敢与天争命？”
李密忽然哈哈大笑，倏尔又收敛了笑容，铁青着脸说道：“此系妄语，欺人之谈。若说图谶，前几年倒是有个方士安伽陀，谮言皇上，说是将有李姓人当做天子，害的李浑全家被杀。且不说此话荒诞不经，就是真的这样，难道李渊父子们不也姓李吗？李渊欲用缓兵之计，休想瞒过我去。”
“魏公此话大谬。天下李姓之人多于繁星，难道个个能当天子？这几年民间流传的《桃李章》唱道：‘桃李子，皇后绕扬州，宛转花园里。莫浪语，谁道许。’这‘桃李子’，是说李姓之子在逃亡，与魏公这几年为避祸而颠沛流离，四处逃匿的经历暗合。皇与后，皆是人君。‘宛转花园里’，是说天子囿于扬州，再无北还之日。而‘莫浪语，谁道许’，更结结实实是一个‘密’字。魏公姓与名皆合于图谶，这是勿庸置疑的事实。杨广不懂‘王者不死，多杀无益’的道理，妄杀李浑全家。唐公李渊多次说过，李浑不过是替李密枉死的一个冤鬼。对魏公将来拥有天下，唐公深信不疑，因此，才愿公推魏公做天下盟主。”
“既如此，李渊又何必冒险起兵呢？”
“魏公知道，近来刘武周勾结突厥，于马邑起兵，攻占汾阳宫，将皇上置于离宫的妃嫔爱姬和金银财帛一并献于始毕可汗。唐公身为太原留守，在其辖地内发生了这样的事，其失职之罪，必无赦理。更何况唐公因为姓李，早已受皇上猜忌。自度继续为隋室卖命，迟早有一天，必遭杀身之祸。因而才铤而走险，断然举事。在下临来之时，唐公一再嘱咐，要在下禀明魏公，他已年逾知命，衰老之躯，唯图自保，断无觊觎大宝之志。他年若辅佐魏公成就帝业，仍能封他为唐国公，于愿足矣。”
话说得实实在在，入情合理，不由李密不信。他看看唐俭，微微笑道：“唐公不愧当世俊杰，真识时务者也。足下可速去回复唐公，让他挥师径取长安。待我拿下洛阳之后，再分兵往援。”
刚说到这里，却听有人冷笑一声说道：“唐俭好一张利口，竟能将我主公蒙蔽。”
唐俭看时，却认得是李密的幕僚魏征，心中不禁格登一下，暗忖道：“说了半天，到底没有瞒过此人，这件事八成要坏在他的手里。”
便听李密问道：“以先生之见呢？”
“关中乃天府之国，帝阙所在的富庶险要之地，岂能眼看着被李渊轻易得去。魏公应暂撤洛阳之围，移师西征，待夺取长安之后，再东向以争天下。这不正是您当年为杨玄感所定的中策吗？今日万不可重蹈玄感之覆辙。”
李密却不以为然：“时移世易，情势异矣。如今天下之势，与数年前已大不相同。隋兵主力，多在中原，洛阳更是朝廷机枢所在。夺得洛阳，便等于在杨广的心脏上猛插一刀，可置大隋于死地。至于唐公，让他暂往攻取长安。此公乃仁义君子，想来不会自食其言，有负于我。退一步说，纵使他言而无信，待我攻克洛阳之后，再与他在战场上一决高低。到时该谁主神器，自有天定。”说完，不再理会魏征，径将唐俭亲自送出大寨。
唐俭星夜兼程，赶回太原，向李渊说了谒见李密的过程。
李渊喜不自胜，笑对众人说道：“李密虽然足智多谋，但为人过于妄自矜大，竟听不进魏征的金玉之言，此天助我也。好了，现在有李密在东面为我们堵住成皋之道，牵制大隋之兵，我们可以放开手脚，专意西征了。待平定关中之后，据险养威，先慢慢地观看一阵中原大地上的鹬蚌之争，然后再坐收渔人之利。”
自太原起兵以来，周围各郡县纷纷倒戈，前来归附唐公。唯有西河郡丞高德儒公然对抗，拒不降顺。
西河（今山西汾阳县）与太原近在咫尺，是下一步出兵南下西进的必经之地。李渊决定先拔掉身边的这颗钉子，做为大军进击关中之前的小试刀锋。
这是起兵之后的第一个战役，虽然面对的只是一个小小的郡邑，李渊亦不敢有丝毫大意，而把它看成是事关夺取天下大局的关键一仗。
他命长子建成、次子世民为统兵将领，又派太原令温大有同往参谋军事，对他说道：眼下咱们士马尚少，一定要善于经略，以卿参谋军事，还望多费心智，以建功名。咱们图谋天下的成败，当以此行卜之。若能顺利攻克西河，则帝业可成。”
随即又告诫两个儿子道：“尔等年少，尚不更事。先以攻打此郡看看你兄弟临战如何？须知三军上下都在看着你们，一定要勉力为之。”
兄弟二人恭恭敬敬地听完父亲的话，急忙跪倒在地，向父亲发誓道：“儿等自幼便聆听父亲弘训，早谨记在心。今日往战，事关家国忠孝，儿等哪敢懈怠？一定秉遵严令，攻克西河。若不能成功，请军法处之。”
出师之前，建成、世民和温大有三人聚议。世民问道：“以大哥之见，我等此次用兵，何事最为紧要。”
建成道：“自然是挑选精兵良将，多备攻城器具，鼓舞士气，力争一战而克，早日凯旋。”
世民却微微一笑，慢慢说道：“以小弟之见，严明军纪才是今日急务。我们率领的，多是新近招募而来，未经严格训练的新兵，军中各级官吏又不齐整。若不严肃军纪，一旦交战，便成一盘散沙，形同行尸走肉，还谈什么攻城掠阵？更重要的是，此次出兵，不仅仅是为了一座西河城，更是为了传布唐军威德仁义之名，收拢天下人心，军中将士且不可扰民害民，与盗贼无异。要做到这一点，没有严明的军纪怎么能行？”
对世民的话，温大有极为赞许，建成也颇觉有理。于是，三人连夜草拟军法，第二天一早便颁布军中。
六月初三日，大军开始向西河进发。一路之上，将士们畏于军纪，果然秋毫无犯。沿路有许多卖瓜果熟食的，士兵们有想吃的，各都掏钱去买。
六月的天气，燥热难当。赤日炎炎，如同泼火一般。将士们一路急行军，卑已汗透军衣，饥渴难耐，一个个唇干舌燥，嗓子眼里像冒烟似的。
天近巳时，距西河尚有数十里，路边出现了一片桃园。密密层层的绿叶之中，无数艳红鲜美，又大又肥的桃子挂满枝头，像是在冲着兵士们点头媚笑。
走在后队中的军头雷永吉，本是太原附近山林中的小股匪盗，归附唐公不久。往日里在山寨中打富济贫、拦路截劫，大碗喝酒，大块吃肉，何曾受过如此苦楚？
他终于经不住路边鲜桃的诱惑，强咽下一股口水，对身边的几名弟兄们使个眼色。十几个人悄悄地离开队伍，潜进桃行。猴子一般灵巧地攀到树上，专拣熟透了的大个桃子，大嚼大咽，饱餐一顿。
这事儿很快便传到李世民的耳朵里，刚刚颁布了军令，便有人公然违犯，此事非同小可。世民让建成继续带队前进，自己却打马奔向了那片桃园。
他找到了桃园的老主人，上前施礼道：“都怪我治军不严，属下偷吃了你的桃子，在下特来赔罪”，说着，从怀中掏出了五两银子递过去：“这算是我们买桃子的钱，还请老丈恕罪。”