李渊在公元617年十一月打着“尊隋”的旗号占领了隋朝的国都长安，立刻开始了他取隋而代之的工作。首先，他杀掉了阻挡义军进入长安的绊脚石阴世师和骨仪，以及这两个人的爪牙崔毗伽、李仁政等十余人，然后宣布：“约法十二条。”用他的法令代替了隋朝的法令。在他宣布的十二条法令中，只对杀人、抢劫、盗窃、叛逆、对抗义军等罪用刑，隋朝规定的许多罪名不再成立，这在很大程度上体现出李渊的“尊隋”完全是一句空话。李渊在处理隋朝旧臣时也表现出一定的灵活态度，如他杀死阴世师、骨仪等人，是因为他们曾经因为李渊造反而毁坏了李渊家的家庙，还把李渊祖先的坟墓掘开，焚毁遗骸。李渊决定报复，主持此事的卫玄已经病故，自然要由阴世师和骨仪来抵罪了。还有一个三原人李静，他的祖父李崇义做过西魏的殷州刺史，父亲李诠做过隋朝的赵郡郡守，他的舅舅韩擒虎是隋文帝消灭南陈、统一全国战争中立有大功的名将。他自己从小文武兼备，曾说：“大丈夫若遇主逢时，必当立功立事，以取富贵。”他的舅舅韩擒虎与他谈论兵法后说：“现在能讲孙武、吴起兵法的人，也只有这个人了。”李靖在隋炀帝执政时期做了马邑郡丞，当李渊和王仁恭共防突厥时，李靖发现李渊私自训练骑兵，一定有夺取天下的打算。为此，他曾经想去江都向隋炀帝报告。不料走到长安后道路不通，终于滞留长安。李渊嫌李靖企图告发自己，于是在攻克长安后准备把李靖斩首，李靖临刑前大呼道：“公起义兵，本为天下除暴乱，不欲就大事，而以私怨斩壮士乎？”李渊一听有理，李世民又在一旁替李靖说好话，李渊于是免除李靖死罪，让他进入李世民的幕府工作。
只是李渊又不愿马上甩掉“尊隋”的旗号，因为他总认为隋炀帝还有一定的力量，如果隋炀帝要收买哪个割据势力来进攻关中，还不是什么困难事情。所以，李渊宁肯暂时在名义上做隋朝的臣子，以换取巩固自己在关中统治的时间。按照这样的想法，李渊在进入长安几天后，把隋代王杨侑从东宫接出来，迎到隋朝皇宫大兴殿上，做了隋朝皇帝，这就是历史上的隋恭帝。至于那位声名狼藉的隋炀帝，被李渊遥尊为太上皇，意思是在名义上被取消了政治权力。至于李渊自己，当然不会把政治权力交给隋恭帝，他自己给自己定了一系列的名号，称“假黄钺、使持节、大都督内外诸军事、尚书令、大丞相，进封唐王”。这是魏晋以来一切权臣篡位前的老办法，所以李渊自从做唐王开始，“军国机务，事无大小，文武设官，位无贵贱，宪章赏罚，咸归相府”。李渊这个唐王已经在实际上拥有皇帝的一切权力了。当然，李渊是否能真正成为皇帝，还要最后看一下隋炀帝的发展情况。
就在李渊进军长安的时候，隋炀帝认定李密领导的瓦岗军是威胁其政权的头号对手，派江都太守王世充率领江、淮地区的隋朝军队，加上将军王隆率领的邛黄蛮、河北大使太常少卿韦霁、河南大使虎牙郎将王辩各自率领本部兵马去东都洛阳进攻李密。这支联合大军的统帅本来是左御卫大将军兼涿郡留守薛世雄，薛世雄带了3万人马前来参战，在河间碰上了窦建德。窦建德诱敌深入，在豆子坑乘大雾突然反击，薛世雄全军大乱，他本人仅带数十骑逃回涿郡，就这样隋朝在东都洛阳的联军一时因为没有统帅而不能一下子投入使用。
隋炀帝不能镇压瓦岗军为代表的各地农民起义军，在江都的士兵开始动摇，逃跑者很多。隋炀帝见麾下人马越来越少，十分忧虑，问裴矩有没有制止逃亡的好办法。裴矩说：“人总要有配偶的，军人长期不回家，自然要逃亡；要想军人不走，除非让他们有配偶。”隋炀帝就下令把江都的寡妇、少女都抢来，强迫配给手下的军人，这样一来，又给江都人民制造了极大的灾难，隋王朝在江都也逐渐住不下去了。
洛阳前线李密又获得进展，隋朝的武阳郡（今河北大名县、魏县，河南南乐、清丰、范县等地）丞元宝藏投降了李密，元宝藏的谋士魏征也由此参加了瓦岗军，做了元帅府文学参军，掌管记室职务。魏征建议李密西取魏郡（今河南安阳市），南取黎阳仓，断绝隋炀帝与河南与河北的联系。魏征的建议得到了徐世勣的赞同，徐世勣还说：“天下大乱，本是因为没有饭吃。今天如果得到黎阳仓，不愁大事不成。”李密于是派徐世勣率领5000人和元宝藏、郝孝德、李文相以及桓水起义军领导人张升，清河起义军领导人赵君壁联军共破黎阳仓，然后开仓让老百姓任意取粮。瓦岗军有粮的消息一下子传开，十来天时间，瓦岗军扩展了20余万人，武安、永安、义阳、弋阳、齐郡相继归顺了李密。窦建德、朱粲派使臣前来与李密联系归附的条件，泰山道士徐洪客献书建议李密乘势直指江都，活捉隋炀帝，然后号令天下。
隋炀帝派来镇压瓦岗军的隋朝各地军队在经过了群龙无首的混乱阶段后逐渐会合起来，隋炀帝下令由王世充做统帅，与李密隔着洛水对峙。王世充本是西域胡人，祖父支颓缛早死，父亲支收因为母亲嫁给霸城一王姓人家，所以改姓王。王世充读书很多，通晓经史，喜欢兵法，会占卜之术，隋文帝时以军功做到兵部员外郎。隋炀帝上台后，调他去做江都丞，兼任江都宫监，他用雕饰池台，进贡美食的办法迎合隋炀帝的骄奢之心，得到隋炀帝的信任。公元613年，杨玄感起兵，今江苏省苏州、镇江一带有朱燮、管崇起江南之兵响应。他俩自称将军，有10余万人，隋炀帝派将军吐万绪、鱼俱罗前去镇压，不得成功。王世充以偏将身分在江都招募了1万多人，将这支起义军打败。王世充每获战功，常常归于部下，获得封赏，往往分给士卒，所以他的部下都十分效忠于他。公元614年，他用计谋镇压了齐郡孟让的10余万农民起义军，公元615年，隋炀帝遭突厥雁门之围，王世充前往救驾，得到隋炀帝的赏识，于公元616年做了江都通守。他镇压了格谦、卢明月等起义军。隋炀帝亲自赐酒慰劳他。现在，当李密进攻洛阳，威胁隋朝生存，隋炀帝又把镇压李密的希望寄托到了王世充的身上。
王世充和李密在洛口打得难分难解，隋炀帝不放心东都形势，派江都丞冯慈明到东都去传递消息，不料被李密的部下所擒获。李密劝冯慈明投降，冯慈明不肯，李密只好将冯慈明囚禁起来。冯慈明说服看守逃跑，被李密部将李公逸再次抓获，李密想继续争取这个人投降，所以再次释放冯慈明，但是，冯慈明在辕门被翟让所杀，引起李密对翟让的反感。本来李密对王世充作战，已经占到上风，尤其石子河之役，李密布阵南北10余里，翟让先战不利，李密派王伯当、裴仁基从两侧助战，李密本人率领中军反攻，瓦岗军反败为胜，王世充只好向西败走。在这胜利局面下，翟让与李密之间的矛盾迅速激化，终于形成自相残杀的结果。
翟让把瓦岗军领袖职务让给李密之后，他的亲信一直耿耿于怀。他的哥哥翟弘就对翟让说：“天子本来应该是你做的，为什么要让给别人？你要是不拿回来，那就让我来拿吧！”翟让的司马王儒信也劝翟让自己做大冢宰，总管一切，以便夺去李密的权力。李密听到这些消息后，开始考虑警惕翟让了。偏偏翟让并不在意，他把李密的部下崔世枢关在自己的府第中逼迫钱财，又在与元帅府记室邢义期赌博时，打了邢义期80杖，还对李密的左长史房彦藻说：“你上次攻打汝南郡时得了不少珍宝，不给我，全都献给魏公。难道你不知道魏公也是我立起来的吗？以后是谁说了算，恐怕还说不准呢！”房彦藻等人把情况向李密一说，李密立刻感到受威胁了。房彦藻和左司马郑廷又进一步说：“翟让贪得无厌，不仁不义，还有无君之心，必须早些除掉。”李密说：“现在天下未定，自相残杀，叫别人看了，该怎么说呢？”郑廷说：“毒蛇咬了手，壮士会当机立断砍断自己的手腕，这就是不能因小失大的道理。如果翟让先动手，那您就后悔也来不及了。”李密终于下了杀死翟让的决心。
在定下消灭翟让的计策后，李密摆下酒席，请翟让参加宴会。翟让不知李密用计，带着哥哥翟弘、侄子，也是司徒府长史翟摩侯一同赴宴。李密和翟让、翟弘、裴仁基、郝孝德坐在一起，单雄信等将领只能侍立一旁，房彦藻、郑廷则“往来检校”。李密说：“今天是众位头领饮酒，就不要太多人陪了。”然后让自己的亲随都离开。翟让以为李密有什么话要说，立刻让自己的亲随也离开宴席，结果宴席前只有李密手下的壮士蔡建德持刀担任警卫。不等开始吃饭，李密就拿出一张硬弓说：“这是一副良弓，可惜没有人能拉得开。”翟让兴冲冲站起来说：“让我试试吧！”当他把弓拉开时，蔡建德突然在他身后挥刀猛砍。翟让受伤，倒在床上，声如牛吼。翟弘、翟摩侯、王儒信措手不及，都被突然动手的蔡建德等人所杀死。徐世勣大惊，起身逃命，被守在门口的刀斧手砍伤头颈，如果不是王伯当大声制止，肯定也会被杀。单雄信一下子吓坏了，叩头请求饶命，李密把他扶起来说：“没有你的事，请放心。”其他瓦岗军头领惊恐万分时，李密大声说：“我和大家一起兴义兵除暴乱，绝无相害之理。翟让作为司徒，专横跋扈，欺压群僚，无上无下；今天我只杀他一家，和诸位没有关系！”然后命令扶徐世勋到幕下，李密亲自为徐世勣上药。翟让部下亲信想离开瓦岗军，李密让单雄信去慰问，又亲自去安抚一番，把翟让的旧部分成三部，分别由徐世勐、单雄信、王伯当率领。由于翟让平时待人残忍，所以他的被杀并没有引起瓦岗军的混乱。王世充本来以为瓦岗军发生内讧会有机可乘，不料结果使他大失所望。
李密在解决了翟让后又考虑如何对付王世充。他从王世充部降卒口中得知，王世充正在招募士兵，同时又在安排士兵们用餐。李密对裴仁基说：“我久不出战，王世充已经没有什么粮食了，为什么还要募兵，并且让士兵吃饱饭呢？只有一个原因，就是想乘月暗之时偷袭我的粮仓。这是必须要防备的。”于是，他安排郝孝德、王伯当、孟让在仓城三路埋伏，王世充当夜三更果然前来偷袭，被瓦岗军打得大败，骁将费青奴被王伯当所斩，王世充赶忙逃命，部下仅淹死在洛水中的就达千人以上。王世充对李密作战没有进展，李渊又夺取了隋都长安，各地农民起义军和割据势力对隋朝的威胁日益明显，这就促进了隋朝统治集团最后的崩溃。
隋炀帝见中原的瓦岗军镇压不了，回长安收拾残局更是没有可能，于是考虑在江东长住下去，想改在建康丹阳（今江苏南京市）建都。他把想法给大臣们一说，内史侍郎虞世基等人立刻随声附和说好。只有右侯卫大将军李才反对，力请隋炀帝起驾回长安，结果和虞世基争吵起来。门下录事李桐客说：“江东地方偏僻潮湿，土地狭窄，根本养不起国家政权。老百姓受不了，又会起义造反，大乱来临，后悔也来不及了。”不想立刻有御史弹劾李桐客“谤毁朝政”，这一来大臣们害怕了，纷纷说：“江东之民早就盼望皇帝来，皇帝过江来安抚江东百姓，这是大禹治水、南会诸侯的举动啊！”隋炀帝于是着手他的迁都计划。不过他手下的军队多是关中人，看着江都粮食快要吃完了，实在不想在江都继续住下去。他们见隋炀帝没有回家的打算，于是悄悄商量逃亡回家。郎将窦贤率领所部兵马集体逃亡，被隋炀帝发现，派人追上斩首。然而逃亡者还是不断，隋炀帝就让虎贲郎将司马德戡领人马住在东城，防止再有人西逃。
司马德戡和他的密友虎贲郎将元礼、直阖裴虔通商量起自己的命运来。司马德戡说：“今天士兵们人人想逃，我如果报告，可能会为管理不善被杀，我如果不报告，他们逃跑后我会因为事先不警惕被杀，现在横竖都是死，有什么好办法呢？”元礼和裴通虔都说只有和大家一起逃走为好。这些关中人开始互相串联，内史舍人元敏、虎牙郎将赵行枢、鹰扬郎将孟秉、符玺郎牛方裕、直长许弘仁、薛世良、城门郎唐奉义、医正张恺、勋侍杨士览等人都参加了这个叛逃集团。他们互相商量逃跑的时间和办法，想到法不制众，于是也不怕有隋炀帝的耳目打探。终于有宫女向隋炀帝的萧皇后报告，萧皇后说：“你直接向皇上报告吧！”这个宫女把情况向隋炀帝一讲，隋炀帝说：“这哪里是你们宫女说的事呢？”下令把这个宫女斩首。以后又有宫女向萧皇后报告类似情况，萧皇后说：“天下事已如此，无可救药，何必再说这些事，让皇上心烦。”从此，再没有人向隋炀帝报告军队将领准备起事造反的消息了。
赵行枢和隋朝将作少监宇文智及私人关系很好，他和宇文智及的外甥杨士览一同去找宇文智及，告诉他大家准备集体叛逃的打算。宇文智及说：“皇上虽然无道，可是威令还可以贯彻。如果你们逃走，将会和窦贤一样被杀害。”司马德戡为此向宇文智及请教该怎么办？宇文智及说：“今天的形势是天要灭隋，所以天下英雄并起，现在江都想叛逃者已经有数万人了。不如自己起来做大事，消灭隋朝，建立我们自己的帝王之业。”司马德戡立刻表示同意，赵行枢、薛世良请宇文智及去找他的哥哥右屯卫将军宇文化及做起兵夺权的盟主。宇文化及一听，吓得变色流汗。后来一想，这不是从天上掉下来的做皇帝的机会吗？于是又点头同意了。
这个造反谋变的集团成立后，立刻开始了行动。公元618年三月，司马德戡派许弘仁、张恺进入保卫皇帝安全的备身府，对所有相识的警卫说：“皇帝听说大家想逃走，于是准备了一大堆毒酒，想召集一次宴会，把大家都毒死。他自己和这些南方人继续在江都住下去。”警卫们一听，害怕了，相互转告，准备造反。司马德戡把军人们召集在一起，询问大家的意见，军人们纷纷说：“我们都听您的。”司马德戡在下午盗取了御马，准备好兵器。当天晚上，正好是元礼、裴虔通值勤隋炀帝的内殿，唐奉义主管城门，司马德戡通知军士们动手，数万人在东城举起造反的火炬，独夫民贼隋炀帝的末日终于来临。
隋炀帝在江都宫中发现火起，而且听到了喧哗之声，忙问发生什么事情了？裴虔通对他说：“草坊失火，外面正在救火。”隋炀帝于是不再怀疑。宇文智及和孟秉在宫城外集合了1000余人，劫持侯卫虎贲冯普乐分兵把守各交通要道。隋炀帝的孙子燕王杨琰觉察到有变，当夜进宫报告，在玄武门对裴虔通等人说：“我突然中风，估计活不了多久了，想见父亲一面。”裴虔通仍然不许他进宫，而且把他囚禁起来。天快亮时，司马德戡带着参加政变的军队来了，裴虔通率领数百骑直冲成象殿，宿卫士兵大喊有贼，裴虔通下令把这些宿卫士兵全赶走。右屯卫将军独孤盛出来对裴虔通说：“这是从哪里来的兵？我怎么没见过？”裴虔通说：“事已如此，不关将军的事，将军就别问了。”独孤盛才知道是政变，不等穿上盔甲，就率领十几个人出来抵抗，不一会儿，就被政变军人所杀。千牛独孤开远率领数百殿内卫兵去请隋炀帝，他敲门大声说：“现在还有兵有将，只要皇上亲自出战，还可以挽回败局，否则，就是大祸临头了。”喊了好久，不闻回答，原来隋炀帝换了便装，逃进西阁躲藏起来。裴虔通和元礼率领兵卒进西阁搜查，宇文化及收买的司宫魏氏领着裴虔通等人到永巷问一美人说：“陛下在哪里？”美人手指里屋，校尉令狐行达拔刀入内，隋炀帝靠窗说：“你要杀我吗？”令狐行达说：“臣不敢，只想跟陛下回长安。”隋炀帝被押到裴虔通面前。隋炀帝说：“你不是我的老朋友吗？为什么要造反呢？”裴虔通说：“臣不敢反，但是将士都想回家，所以想和陛下一起回京师。”隋炀帝以为他可以躲过这场劫难，乘机说：“朕方欲归，正为上江米船未至，今与汝归耳！”裴虔通于是让士兵将隋炀帝看住，等宇文化及来处理。
天亮的时候，孟秉去找宇文化及，宇文化及紧张得说不出话来，有人来问，就低头说：“罪过！罪过！”宇文化及进了宫城门，司马德戡将他迎入朝堂，称他为“丞相”。裴虔通见宇文化及来了，这才去对隋炀帝说：“百官都在朝堂，陛下应当去慰劳。”士兵把马牵来，隋炀帝嫌马鞍太旧，等换了新鞍才肯上马。隋炀帝一被押出来，政变士兵就一片欢呼，隋炀帝问：“虞世基在哪里？”马文举说：“已经砍头了。”隋炀帝被押到了寝殿，裴虔通、司马德戡都举刀侍立，隋炀帝这才明白今天是躲不过去了，他叹息道：“我何罪至此？”马文举说：“陛下违弃宗庙，巡游不息，外勤征讨，内极奢淫，使丁壮尽于矢刃，女弱填于沟壑，四民丧业，盗贼蜂起；专任佞谀，饰非拒谏；何谓无罪？”隋炀帝说：“我确实对不起老百姓，不过你们这些人和我一起享受荣华富贵，为什么要这样做呢？今天是谁在带头？”司马德戡说：“天下人都在恨你，岂是一个人带头能做的事。”宇文化及叫封德彝来控诉隋炀帝的罪行，隋炀帝说：“你本是士人，怎么也做起这种事来了？”封德彝一时说不出话来。裴虔通怕隋炀帝的花言巧语动摇军心，挥刀斩杀隋炀帝12岁的爱子赵王杨杲，鲜血溅在隋炀帝身上，隋炀帝才知道大势已去。他说：“天子自有天子的死法，不能用刀，去给我取毒酒来。”马文举不许人去取毒酒，让令狐行达把隋炀帝按在床上。隋炀帝知道顽抗无济于事，自己解下练巾，交给令狐行达，令狐行达用这条练巾将隋炀帝勒死在床上。这个恶贯满盈的独夫民贼就这样自取灭亡了。
宇文化及在杀死隋炀帝后，立秦王杨浩为皇帝，王世充在洛阳听到这个消息后，立越王杨侗为皇帝，这样隋朝在名义上有了三个皇帝。李渊在长安觉得杨侑这块招牌用处不大了，在对隋炀帝之死假装表示了一点悲痛后，立即开始了取隋而代之的最后工作。他派人去告诉杨侑，隋朝天数已尽，必须把政权交给有德之人，这个人只能是唐王李渊。隋恭帝杨侑本来就是李渊手中的傀儡，李渊有了命令，他如何敢不听从呢？公元618年五月，隋恭帝宣布退位，把皇帝的宝座“禅让”给唐王李渊。李渊由此做了皇帝，并且把这个新的王朝命名为他家族的封号——唐，中国封建社会历史上最为辉煌的时代，就在这样一种硝烟弥漫的气氛中开始了。
进军长安，这是李渊一生中最重要的活动。他在太原起兵反隋，还只不过是天下群雄之一。然而当他一旦进入关中，他就成为灭亡隋朝的代表性人物，在争夺天下的群雄中占据了任何人也无法比拟的政治优势。所以，他可以在隋炀帝被杀不久，建立起唐朝来，轰轰烈烈的统一战争，也由此开始。53岁的李渊给自己定下的年号是“武德”，看来，当时他除了武力，其他的一切，都来不及关注。
人到了这个年纪，总是比较实际的，正在创业的李渊也不例外。