投奔瓦岗寨
魏征（580～643）字玄成，生于北周静帝大象二年（580），魏州曲城（今属山东）人。父亲魏长贤精通文史，博学多才，曾做过北齐著作郎，后因直谏朝政，贬为上党屯县令。父亲正直倔强的品质，对青少年时代的魏征产生了很好的影响。然而由于父亲去世较早，家业也因此衰落。穷困的生活，并没有磨灭魏征的意志，他性格坚强，胸怀大志，喜好读书，多所涉览，尤注意于历代兴衰得失之道，这为以后他的从政、治史打下了厚实的基础。魏征的青年时代是在隋末的动乱年代度过的。为了躲避战乱，他出家当了道士。
当时，在河南一带翟让、李密领导的瓦岗军，攻占了洛阳东北的最大粮仓兴洛仓，起义军开仓放粮，济贫救苦，深得百姓拥护，队伍迅速扩大，声威日盛。隋大业十二年（616）隋武阳郡丞元宝藏起兵响应李密，元宝藏知魏征有学识，请他到郡府掌管书记，魏征毅然前往。李密见到元宝藏的书信，常常赞叹不已。以后知道这些书信均出自魏征手笔，李密便请魏征到元帅府任文学参军，掌管记室。魏征向李密条陈十项，李密虽然惊赞魏征之才，并不采纳他的计谋。
隋大业十三年（617），李密刺杀了瓦岗军首领翟让，瓦岗军的领导力量被大大削弱。瓦岗军是一支很强的反隋力量，曾先后打败隋将王世充和宇文化及。当然，瓦岗军也付出了高昂的代价，强将死伤不少。李密对形势估计错误，并且滋生了骄傲情绪。就在李密谋杀翟让不久，王世充又集中二十万大军向瓦岗军扑来。魏征非常关心这次战斗的胜败。他找到李密的一个姓郑长史说：“王世充远道而来，必定要速战。我们只宜坚守，等他们粮草食尽，必然退兵，那时我们追击，定能胜利。”魏征的意见无疑是正确的。但目光短浅的郑长史却斥之为“老生常谈”。魏征非常生气，拂袖而去。结果，李密大败，瓦岗军全军崩溃，李密只得投降唐朝。魏征也随李密来到京城长安。
辅助唐太宗
魏征归唐后，并不被重用，默默无闻。因而，他自动请求安抚山东。唐高祖李渊同意他的请求并把他升为秘书丞。从长安来到黎阳，魏征给据守黎阳的李密旧部徐世勣写信，劝他归唐。徐世勣深知形势，很快就归顺了唐朝。这样，魏征凭一封信就使唐朝获得了山东（太行山以东）广大地区。徐世勣后成为唐朝的一代名将，在多次征讨中曾立下赫赫战功。李渊赐以李姓，又避唐太宗李世民讳，改名李勣。
不久，魏征来魏州，说服元宝藏也归附了唐朝。魏征从魏州又回到黎阳，同年十月，河北农民起义军窦建德攻占黎阳，魏征为其所俘，窦建德就拜任魏征为起居舍人。武德四年（621），李世民率兵围攻洛阳，王世充向窦建德求援，李世民一举击败了王世充和窦建德，魏征再度归唐。魏征当过道士，又在李密、窦建德的农民起义军中生活了一段时间，他目睹了农民起义军的伟大力量，也深刻了解了农民的悲惨生活和感情，这使他懂得“水能载舟，亦可覆舟”的道理，丰富的实践对魏征以后的政治思想的形成产生了极大的影响。
太子李建成知魏征有才气，便召为洗马，掌图书缮写，魏征因而就成了东宫的官属。李建成十分器重魏征，魏征也对李建成忠心不二。在李建成和李世民争夺皇位的斗争中，魏征竭尽全力为李建成出谋划策。魏征看到李世民在创建唐王朝的过程中立下了巨大功劳，深得人心。因此他提醒太子说：“秦王功盖天下，中外归心，殿下但以年长位居东宫，无以功以镇服海内。”正当此时，逃往突厥的窦建德残部刘黑闼经过几个月的休整，又把河北失地重新占领，恢复了许多州县。魏征抓住这一时机，对李建成说：“今刘黑闼散亡之余，众不满万，资粮匮乏，以大军临之，势如拉朽，殿下应当带兵打败他们，以取功名，因结纳山东豪杰，方可自安。”李建成同意魏征的建议，向李渊请命。李渊诏李建成率军征讨刘黑闼。魏征随军出征。唐军至昌乐，刘黑闼严阵拒守，两军形成对垒。魏征向李建成建议，采用镇压和安抚相结合的两手政策，遣返俘虏，使刘黑闼的同党相信朝廷的赦免政策，以瓦解其军心。这一策略的实施使刘黑闼军心涣散，纷纷逃亡，降唐的也不少。最后刘黑闼败走洺州，为唐军所杀。
唐王朝统一天下后，李建成和李世民的矛盾日益激化，魏征屡屡劝说李建成早下决心，除掉李世民以绝后患。但在武德九年（626），李世民却先发制人，在玄武门设下伏兵，一举把李建成和李元吉诛杀，取得了玄武门之变的胜利。李渊被迫接受了现实，他立李世民为太子，并将军国大权完全交给李世民。
玄武门事变后，李世民对东宫僚属一律宽大。有一天，他把魏征召来责问道：“你为什么要离间我们兄弟？”魏征从容答道：“太子若听我的话，决不会有今日之祸。”李世民早就知道魏征的才能，又见他临危不惧，更加器重他。任命魏征为詹事主簿，掌握东宫的庶务和文书。武德九年（626）八月，李世民当了皇帝，这就是唐太宗。唐太宗知人善任，提升魏征为谏议大夫。他派魏征安抚河北。当时，河北州县有不少李建成和李元吉的余党在活动，他们终日惶恐不安，害怕李世民镇压，因而有思乱之心。魏征曾建议太宗，要对他们出以公心，不计旧怨。唐太宗听从他的意见，派他去安抚，允许他有权根据实际情况，自行变动处理。魏征到了磁州（今河北磁县），见到押送进京的李建成侍卫李志安和李元吉的护军李思行，下令把他们释放，并下令将原来东宫和齐王府的旧属，一律赦免。这样一来，河北也就安定了。
魏征不辱使命，回到长安。唐太宗很是高兴。从此以后，魏征与太宗皇帝的关系日益密切，有时甚至进入太宗卧室商议大事。魏征深感知遇之恩，更加知无不言，言无不尽。太宗即位不久，魏征就进谏说：“陛下初即位时曾下诏言，‘过去欠国家的财物，一律捐免。’但有关部门却仍然催交。您的诏书还说，‘关中免两年租调，关外免一年徭役’。有关部门把交纳的租调散还给他们。而又下诏说，‘已经服役、交纳租调的，从明天开始免除。’租调不免，又要点兵，这是以诚信待天下吗？”唐太宗听后十分高兴，说：“我原以为你固执，不通达政事。今天听你议论，真是精辟透彻，我的错误确是不小。”他不但接受了魏征的意见，还奖给他一个金瓮。
贞观元年（627），有人告发魏征徇私其亲戚。太宗请御史大夫温彦博查办，结果查无实据。温彦博奉诏责怪魏征，说他不注意检点行为，远避嫌疑，以致招来诽谤。魏征去见太宗说，臣不敢奉诏。还说，君臣一条心，才叫做一体，哪有抛却大公无私，而专在检点行为上下功夫？如果上下都走这条路，国家兴亡就难以逆料了。他对唐太宗说：“愿使臣为良臣，不为忠臣。”太宗问：“忠良有什么不同？”魏征说：“良臣身有美名，如稷、契，君主也获得好的声誉。而忠臣则不同，如商纣王时的尤逢、比干，面折廷争，身诛国亡。”太宗听了非常高兴。接着问魏征：“人主何为而明，何为而暗？”魏征回答说：“兼听则明，偏听则暗。”唐太宗听后非常高兴，拍手叫好。