贞观十年（636）六月，魏征屡以目疾请为散官，散官是没有实际职务的官员，太宗不得已，以魏征为特进，“仍知门下事，朝章国典，参议得失。”其实还是在宰相位上，只不过没有那么多繁杂事务。直到贞观十六年（642）九月，才罢相为太子太师贞观之初，唐朝君臣之间曾发生如何治国的讨论。唐太宗认为，大动乱之后，很难把百姓教化好，而魏征对此却持乐观态度。他认为，大乱之后，百姓对治理的要求，就如同饿极了人求食一样。唐太宗对魏征的话有点怀疑，他说，古人云，贤明的人治理国家，也要百年才有成果。魏征回答说，这是指平常人说的，如果是英明的君主，一年就可取得成功，三年才得成绩已经不算早了。而宰相封德彝认为魏征盅惑君心。他指出，夏商周三代以后，人心变得浮荡奸诈，秦用严刑峻法，汉施仁义、刑律两手，都未能取得成功。如果听信魏征的话，国家必然大乱。
魏征针锋相对，以历史事实驳斥了封德彝的人心不古的议论，说如果人心越来越奸诈，那么到今天人就都变成鬼，还能谈什么教化？魏征的这一番话，把封德彝说得哑口无言，无言以对，而对唐太宗说来，却坚定了他大治天下的决心。
在具体政策及措施的做法上，朝臣们也各执一词。有人要太宗“独运威权”，有人建议太宗“震耀威武，征讨四夷”。而魏征建议唐太宗应“惬革兴文，布德施惠，中国既安，四史即服”。魏征的治国方针是把重点放在国家的恢复和建设上，使百姓安居乐业，使唐王朝长治久安；而要使国家长治久安，魏征认为，必须“抚民以静”。他以隋朝和贞观初期相比，隋初的仓凛、户口、甲兵都比唐初又多又强，但是，“隋以富强动之而危，我以寡弱静之而安”。
魏征此处所说的“静”，就是使百姓得以休养生息，安居乐业，而并非对百姓没有任何役使和盘剥，而是动之以时，适度而已，而不像隋场帝那样，“虐用其民”，“诛求不已”，使老百姓无法生活，最后只能揭竿而起。唐太宗是个贤明的君主，他把“抚民以静”作为基本国策确定下来，贞观二年（628），他就说：“凡事皆须务本，国以人为本，人以衣食为本，凡营衣食，以不失时为本。夫不失时者，在人君简静乃可致耳，”唐大宗的“抚民以静”思想和魏征不谋而合，君臣一心，使“抚民以静”的方针得到了很好的贯彻、抚民以静的具体做法就是：必须减轻徭役，繁重的徭役，必须侵占农时，耗费大量的劳力。魏征常常提醒唐太宗勿搅民扰民。一次，唐大宗要巡游南山，一切都准备好了。但好久不见出发的动静，魏征为此询问唐太宗。唐太宗告诉魏征，当初确有这个想法，但害怕你又要直言进谏，所以很快又打消了这个念头。
公元632年，唐朝经济好转，国泰民安。文武官员再次请唐太宗封禅，也就是到泰山祭天，表示对天的敬畏，魏征却竭力反对封禅，他说，“唐初隋末大乱之后，户口未复，仓粮尚虚，而车驾东巡，千乘万骑，其供顿劳费，未易任也，”他又进一步指出，兴师动众，远行千里，必然会财尽民劳。经魏征这么一讲，原大宗的封禅之举也就停止了，身为宰相，魏征特别注意协调君臣关系。在魏征看来，君臣如同一体，国君是人的首脑，臣子是人的四肢；君臣一体，协调一致，才能治理好国家，他引用孟子的话说：“君视臣如手足，臣视君为腹心；君视臣如犬马，臣视君如国人；君视臣如粪土，臣视君为寇仇。”
从儒家的道德观念出发，魏征认为在君臣关系上，君是主要的，起主导作用的。因而，他主张君必须以诚信待臣，“诚信立则下无二心”，“上不信，则无以使下；下不信，则无以事上，信之为道大矣。”（《贞观政要·诚信》卷五）唐太宗懂得儒家君为臣纲的道理，他克己修身，崇尚节俭。但也有犯糊涂的时候，此时魏征则是犯颜直谏。贞观十一年（637），唐太宗为了个人享乐，在洛阳修建飞山宫。
魏征上疏反对，他希望唐太宗以附为鉴，吸取教训，他说：“炀帝恃其富强，不虑后患，穷奢极欲，使百姓国穷，以至身死人手，社稷为墟。陛下拨乱反正，宜思隋之所以失，我之所以得，撒其峻宇，安于卑宫，若因基而增广，袭旧而加饰，则以乱易乱，殃咎必至，难得易失，可不念哉。”唐太宗遂即醒悟，停修了飞山宫，还有一次，唐太宗去洛阳，中途位显仁宫，因当地供应不周，太宗大发脾气。魏征进谏说：“陛下因供应不周而动怒，恐怕这种风气传下去，将来会弄得民不聊生。从前隋炀帝常以郡县供应多少而赏罚，所以海内叛之，亡国了。这是陛下亲眼所见的，为什么还要去效仿他呢？”唐大宗听了，出了一身冷汗，对魏征说，“要不是你，我是听不到这样的话的。”
贞观十三年（639），魏征因唐太宗有违克终俭约的初衷，逐渐趋于奢纵，因此向唐太宗上疏进诛，这就是历史有名的《十渐疏》。《十渐疏》指出了唐太宗渐不克终者有十条，这十条的主要内容是：一、贞观之初，无为无欲，清静之化，远被通荒，今则求骏马于万里，市珍奇于域外，取怪于道路，见轻于戒狄。二、贞观之始，视人如伤，恤其勤劳，每存简约，无所营为，顷年以来，意在奢纵，轻用人才，乃云：“百姓无事则骄逸，劳役则易使。”三、贞观之初，损已于利物，至于今日，纵欲以劳人，卑俭之迹岁改，骄侈之情日异、虽忧人之言不绝于口，而乐身之事实切于心，四、贞观之初，破两名节，不私于物，惟善是与，亲爱君子，疏斤小人。今则不然，轻亵小人，礼重君子。重君子也，敬而远之，轻小人也，拥而近之，近之则不见其非，远之则莫知其是。魏征的奏疏，用鲜明的对比，有力的事实和论证，剖析了唐太宗自贞观以来的前后变化；他希望唐太宗居安思危，善始慎终，振作精神，励精图治，继续发展贞观之治。
奏疏撼动了唐太宗一他后来对魏征说：“朕今闻过矣，愿改之，以终善道。”他还把魏征这篇奏疏写在屏风上，以便朝夕披读，激励自己一他把奏疏交给史官，让他们载入史册，还赏赐给魏征黄金十斤，马二匹。魏征的诤谏，抓住问题的要害，以史为鉴有理有据，语言虽尖锐激切，但他刚直诚恳的态度，据理力争，不留情面有理有据，使唐太宗虽始听而大发雷霆，最终也被魏征所折服。
谏诤的结果，有时候唐太宗愉快地接受了魏征的意见，但有时因为意见提得尖锐激烈，冒犯了皇帝的尊严，也可能招致可悲的后果。有一次唐太宗回到宫里，恶恨恨地对长孙皇后说：“迟早我要杀掉这个老家伙！”皇后问要杀谁？唐太宗说：“就是魏征。他总是当众说我的不是，弄得我下不了台，有损皇帝的威信。”皇后听后，马上回去穿上朝服，向唐太宗道贺。唐太宗问：“贺什么呢？”皇后说：“君明则臣直。魏征那么直率，敢于犯上直谏，就是由于你的圣明呀！所以我要向你祝贺。”这说明唐初所以能形成谏诤的气氛，并不仅仅是唐太宗能纳谏，魏征敢谏诤造成的，而是在唐朝的整个统治集团中，形成了一种谏诤的风气，所以才能使魏征这样的敢于直谏的大臣，不但能发挥谏诤的作用，而且没有落得个可悲的下场。
魏征不但是一位杰出的政治家，也是一位杰出的史学家。他对历史有深刻的了解，善于将历史经验和现实问题结合起来，以史为鉴，以此论治道，劝大宗，他根据唐大宗的诏今修撰《周史》、《齐史》、《梁史》、《陈史》、《隋史》五朝历史。五部史书总监虽是房玄龄，但房政务繁忙，魏征是实际的总监。魏征还亲自动手，撰写了隋史的序和论，还为《梁书》、《陈书》、《北齐书》写了总论，他治史谨严，有“良史”之称。
贞观十年（636），五朝史书修撰完毕，唐太宗为嘉奖魏征，加封魏征为光禄大夫，进封郑国公。贞观十六年（642）七月，魏征病重，唐太宗下手诏慰问。魏征居室简陋，生活俭朴。唐太宗还特别下令为他建了一个正厅，还赐给屏风等物。同年九月，唐太宗说：‘方今群臣，忠直无遗魏征，我遣傅太子。”于是，罢去魏征的宰相职务，拜为太子太师。贞观十七年（643）正月，魏征病危，唐太宗带领太子前往探望。魏征去世后，唐太宗亲临魏家哀悼，悲痛异常、他停朝五天，令百官参加葬礼。送葬时还登上苑西楼，遥望魏征天枢，还亲自为魏征写了碑文。唐太宗对魏征的去世，十分悲痛。曾感叹地说：“人以钢为镜，可以正衣冠，以古为镜，可以见兴替，以人为镜，可以知得失。魏征没，朕亡一镜矣！”