东晋和十六国之后，中国经历了南北朝分裂时期。公元581年，隋文帝杨坚建立隋朝，八年后灭南朝陈，结束了分裂局面，使中国重新归于统一。隋朝是个短命王朝，仅存在三十八年，便被唐朝所取代。唐初尤其是贞观年间，文武人才济济，名将名帅辈出，李靖和李勣是其中杰出的代表。
李靖（公元571～649年）字药师，京兆三原（今陕西三原）人。青年时代姿貌俊秀，通晓书史，尤爱兵法，志向高远，经常说：“大丈夫在世，当以功名取富贵，何必做寻章摘句的儒生！”他的舅舅韩擒虎为隋朝名将，每与外甥谈论军事问题，惊叹说：“可以与我语孙、吴兵法者，除了李靖还能有谁？”隋文帝时，李靖进入仕途，任殿内直长。吏部尚书牛弘称他有“王佐之才”。宰相杨素则拍着自己的座位说：“卿终当坐此！”
隋朝末年，李靖任马邑丞。农民大起义形成燎原之势，隋炀帝困于江都（今江苏扬州），太原留守李渊父子起兵反隋。李靖作为地方官，准备赴江都报告情况。李渊迅速攻克京师大兴城（今陕西西安），捉住李靖，决定将其处斩。临刑时，李靖高喊说：“公起兵为天下除暴乱，欲就大事，为何以私怨而杀壮士？”李渊次子李世民发现李靖状貌雄伟，出语不凡，为之求情。李靖死里逃生，从此追随李世民，走上了建功立业之路。
李渊建唐。李世民封秦王，出将入相，征讨各地的割据势力。李靖随秦王出征，在消灭王世充的战争中作战英勇，官授开府，成为一名智勇兼备的将军。
唐初，长江中游有一割据政权，南朝萧梁宗室萧铣，自称梁帝，据江陵，占有江南、岭南的广大地区。武德四年（公元621年），李靖向李渊进呈十条灭梁之策。李渊即命赵郡王李孝恭为荆襄总管，李靖为行军总管，统领大军，征讨萧铣。李孝恭为皇家藩王，统兵只是名义上的。因此，李靖兼摄荆襄总管行军长史，军政一委，是真正意义上的统帅。八月，李靖集兵于夔州（今四川奉节东），备战就绪。其时，秋雨连绵，江水暴涨。萧铣估计唐军不会出击，设防松懈。唐军中一些将领也有疑惧心理，主张暂缓出兵。李靖说：“兵机事，以速为神。我军已经结集，萧铣尚不知底细。若乘水而下，雷霆不及掩耳，待敌人仓促召兵，无以御我，必被擒也。”
李靖利用长江水势，顺利进兵至夷陵。萧铣匆忙中派出大将文士弘，领兵数万，予以迎战。李孝恭主张发起攻击。李靖知己知彼，说：“不可。文士弘是一员骁将，部下强悍，悉锐拒我，势头正盛。我军宜驻守江岸，待其气衰，战而取之。”李孝恭过于轻敌，留下李靖驻守，自己率兵出击，大败而归。文士弘乘势逼近唐军营寨，抢掠器物。李靖发现对方阵脚混乱，果断下令，发动攻击，大破文士弘，夺得敌船四百余艘，敌军溺死者万余人。李靖乘胜率领五千轻骑，直趋江陵，打败杨君茂、郑文秀两支守军，俘虏甲士四千人。李孝恭的后援部队赶到，重重包围了江陵。萧铣走投无路，出城投降。李靖进入江陵，“号令静严，军无私焉”。有人主张取江陵富户家产，犒赏士兵。李靖认为不可，那样会激起当地人民的反抗，王者之兵，应当“宣示宽大，以慰其心”。这一举措收到很好的效果，江陵以下的许多城池，统统归降唐朝。
李靖因功任检校（以他官派办某事）荆州刺史，率兵招抚岭南地区。武德五年（公元622年），岭南少数民族首领冯盎归唐，整个南方基本平定，共得九十六个州，六十余万民户。李靖升任岭南抚慰大使，检校桂州总管。李靖考虑岭南地处偏远，从实际情况出发，“非震威武，示礼仪，无以变风”，“所过问疾苦，延见长老，宣布天子恩意，远近欢服”。
隋末农民起义军领袖之一辅公祏，占据丹杨（今江苏南京），自称宋帝。李渊又命李孝恭为元帅，李靖副之，前往镇压。这次，李孝恭对李靖言听计从，凡事均由李靖指挥调度。因此，战争进行得非常顺利，很快攻克丹杨，擒杀了辅公祏。李靖再追剿辅公祏的残余力量，江南地区全部平定。捷报传至长安。李渊高兴地说：“李靖之功，韩信、白起、卫青、霍去病犹不及也！”他给予李靖丰厚的赏赐，任为检校扬州大都督府长史，改任检校安州大都督。
玄武门之变后，李世民即皇帝位，是为唐太宗。李靖任刑部尚书，兼检校中书令。北方突厥颉利可汗反反复复，时而臣服于唐，时而发动叛乱。唐太宗决定彻底解决边患问题，任命李靖以兵部尚书身份，出为定襄道行军总管，率兵十万，进攻突厥。贞观四年（公元630年），李靖由马邑（今山西朔州）出塞，侦察到颉利驻军于定襄（今山西右玉南）。他当机立断，自统三千精锐骑兵，星夜兼程，奔袭定襄。颉利毫无防备，大惊失色，说：“李靖竟敢孤军至此！”李靖一面派人潜入定襄，离间突厥内部上下关系，一面集中兵力，连夜发起攻击。突厥大将康苏密降唐，军心浮动。颉利见势不妙，慌忙撤退，逃往大漠。唐太宗接到战报，欣喜地说：“西汉时，李陵以步兵五千，深入绝漠作战，最终投降匈奴，其功还载于史籍；李靖以骑兵三千，蹀血虏庭，遂取定襄，自古以来，无可比也。这足以洗吾渭水之耻矣！”所谓“渭水之耻”，是指唐太宗刚即位时，突厥铁骑入侵，直抵渭河北岸；唐太宗无力抗击，只能与颉利在渭河上的便桥签订盟约，使之退兵。唐太宗视此为耻辱，李靖打败颉利，算是帮他出了口恶气。
李靖受封代国公，继续对突厥用兵。颉利为了取得喘息的机会，派遣使臣到长安，向唐太宗谢罪，请求归降内附。唐太宗批准，以李靖为定襄总管，接受归降，并派唐俭等前往突厥，代表朝廷，表示慰抚。李靖根据以往的经验，认识到颉利归降内附是假，保存实力是真，猛然生出一个大胆想法：消灭突厥，永绝边患。他对副将张公瑾说：“诏使到，虏必自安。我们如果挑选万名精骑，携带二十天干粮，长途突袭颉利，一定能够大获全胜。”张公瑾颇为犹豫。李靖说：“机不可失。韩信当年破齐，用的就是这个方法！”于是，他命大将李勣领兵接应，自率万名骑兵，带上干粮，驰进大漠。驻军铁山（今内蒙古阴山北）的颉利，正忙于接待唐俭等人，疏于防备。李靖骑兵以闪电之势，到达铁山，立刻发起攻击。突厥士兵大溃，争相逃命。颉利仓皇逃跑，被大同道行军总管张宝相活捉，押送长安。这一战，李靖杀死颉利阏氏，擒获颉利儿子，斩首万余级，俘虏男女十余万人。突厥基本上被歼灭，使阴山以北及整个大漠地区，划入唐朝版图。其他各少数民族政权受到震慑，纷纷内附，上书称颂唐太宗为“天可汗”。
这是一场巨大的胜利。唐太宗异常惊喜，因此大赦天下，诏令全国欢庆五天。御史大夫萧瑀忌恨李靖的功绩，奏劾李靖“持军无律，纵士大掠，散失奇宝”的过错。唐太宗受了蒙蔽，责备李靖。李靖不作任何辩白，只是叩头而已。唐太宗说：“隋朝的史万岁，大破达头可汗，不赏而诛；朕不然，赦公之罪，录公之功。”李靖升任光禄大夫。事后查明，萧瑀的奏劾属于诬告。唐太宗歉意地对李靖说：“别人诋毁公，朕今悟矣！”因而提拔李靖为尚书右仆射，为宰相之一。
李靖参议朝政，以沉厚见称，轻易不发表意见。他觉得自己不善理政，以足疾为借口，请求辞官，回归田里。唐太宗派中书侍郎岑文本转告李靖说：“自古富贵而知止者盖少，虽然身体疲病，还要拼力干进。公明大体，朕甚嘉之。欲成公美意，为一代法，不可不听。”唐太宗同意李靖不任宰相，但授为检校特进，平时居家，视身体情况，每三日一朝，力所能及地管些事情。为了来去方便，唐太宗赐予李靖一支灵寿拐杖。