石守信等人听了此话惊恐万状，连连叩头，请求太祖指出一条生路。太祖说，人生在世有如过眼烟云，是很短暂的，其实追求的也不过是富贵，多弄一些钱，尽情地享乐，使子孙永远不过穷日子而已。你们何不交出兵权，到外地为封建大员，在那里广置良田美宅，为子孙建立永久家业。再多养一些歌儿舞女，每天歌舞升平、欢度晚年。我再和你们联姻结亲，使君臣上下无猜，相安无事，这不是很好吗？
石守信等将领心领神会，连连叩头拜谢感恩。第二天他们便相继称病，请求解职。宋太祖派人对他们抚慰一番，又赏赐很多财物，安置他们到外地去做节度使。历史上有“杯酒释兵权”之说法，指的就是赵匡胤君臣所导演的这一幕。及后收兵权的行动继续在进行。
乾德元年（963）春，对几十个异姓王以及带相印的节度使通过死亡、迁徙、告老、遥领他职等方式夺了他们的权，以文官取代其职位。开宝二年（969）十月，乘凤翔节度使王彦超及诸藩入朝之机，宋太祖在皇家后苑摆下酒宴，又通过微妙的暗示，迫使王彦超等人自动请求辞官归家养老。
四、中央构构改革方案的泡制者在大肆剥夺诸藩、将领兵权的同时，宋太祖和赵普又根据赵普的十二字方针在国家军事体制方面进行了调整、整顿，“稍夺其权”即改变权力结构的独立性，一切权力必须依附君权而运转，这些措施对进一步巩固赵宋王朝的中央集权，消除悍将强藩对朝廷的威胁，起了相当大的作用。禁军将领，权任极重，容易威胁皇权。在调整中取消了殿前都点检、殿前副点检等高级禁军将领的建制，改由职位较低的殿前都指挥使、侍卫马军都指挥使、侍卫步军指挥使统辖禁军，称为“三衙”或“三司”；“三衙”只负责军队的管理和训练，没有调兵权。
调兵权仅属于枢密，但是枢密院又无指挥权，军队指挥必须完全听命于皇帝、征战之时由皇帝临时点将，将帅在战场上一切的军事举措，完全听命于皇帝的远地指挥，无权独立作战、征战结束后，兵归宿卫，将还本职。这样将帅就不得专其兵，兵也难附属于将帅，但皇帝却专有统帅全军的最高权力，作为直接保护皇帝安全的禁卫军，是一支重要的军队，为提高禁军素质，在赵普的策划下裁掉了禁军中的老弱病残者，选拔精壮士兵加以补充。禁军头目的任命，由皇帝确定，太祖诏命殿前侍卫二司，挑选所属士兵中的骁勇者升为上军；又命令各州选拔精壮的士兵送至京都补充禁军，禁军的素质提高了，地方军队的作用也随之削弱了，赵普对军制的精心安排、调整，的确起到了强干弱枝、加强中央集权的作用。禁军“皆以一当百”，武器精良，诸镇对自己手下的兵力决非京师之敌这一点，心里很清楚，因此也就不敢轻举妄动了。
但是随之而来的弊病，也是显而易见的。由于中央集中兵权，使将不知兵，兵不知将，皇帝在远地摇控指挥，大大削弱了将帅的主动作战能力，从而影响了在战场上的作战效果。赵宋王朝在以后与西夏、辽、金的作战中，屡屡败绩，就是明显的例证。赵普十分清楚仅削夺藩镇的兵权，并不能彻底解决藩镇强霸一方的问题，藩镇往往兼管几个州，有经济基础，有财政来源，有司法大权，可随时委派亲信为镇将，控制州县官吏，实际上就是地方上的土皇帝，于是他奏请宋太祖革除这种弊病，乾德二年，朝廷下令规定各州的财政收入除留下作本地领费支出以外，其余的全部上交京师，不许藩镇任意截留地方财政收入，乾德三年（965）在全国各路设置了转这使，掌管各路财赋，节度使所属的官吏不得参与。地方司法由提点刑狱官监临，节镇不得干预，五代以来，节度使常常委派亲信为镇将，使他们与县令对抗，实际就是取代县令而自成体系。赵普决定恢复县令的权力，地方一切事务都统一由县管理，这样一来“镇将所主，不及乡村，但廓内而已”。
此举更重要的是，中央收回了以前节度使统领几州的权力，使各州直属于京师，并由中央委派文臣朝官充任知州。同时又在各州力。设了通判官，与知州共同处理政务，起到了互相监督和制约的作用，为避免知州大任一地形成割据势力，又规定了“三年一易”的轮换制度，赵普采取的这些果断措施，进一步从各个方面削弱了藩镇的权势，各地节度使几乎成了没有实权的虚衔。与此相反，中央的统治权力得到极大的加强，强千弱枝的形势已经形成。“朝廷以一纸下郡县，如身使臂，如臂使指，无有留难，而天下之势一矣，”中央和藩镇的关系和唐五代相比，已经是大不一样了。
出自对加强皇权的需要，赵普又对中央作了较大调整，在禁中设立中书，称为政事，由中书管政事；设立了枢密使专掌军事；另设三司使（盐铁、度支、户部称三司）总管全国贡赋和财政。过去是由宰相总揽的行政、军事、财政大权，现在一分为三，相权大为削弱。而皇帝除统领中书省外，还统领枢密院、三司等机构，皇权极为加强。为加强中央对司法权的控制，朝廷规定，凡是要处死刑的案件──大辟案件必须录案上报刑部审核。一系列调整和改革，有效地解决了君弱臣强的内部机制，使专制主义中央集权得到空前加强，赵普在为赵宋王朝的权力得到巩固、加强方面确是竭精洋虑，不遗余力，正由于此，宋太祖视赵普为左右手，“事无大小，悉咨决焉”，对赵普无不言听计从。乾德二年（964）四月，宋太祖为协助独居相位的赵普处理政务，特地设立了“参知政事’一职作为副相，并拜任薛居正、吕余庆为参知政事，但参知政事不押班、不知印、不升政事堂，权力是有限的。在宋太祖时期，由于起普的贡献极大，所以职务提升很快。建隆三年（962）出任枢密使；乾德二年（964）正月，拜为同中书门下平章事，也就是宰相。
三、十四年的“股肱”
太祖视起普为股肱，事无巨细，都要与他商议。于是赵普也更加尽心竭力，参与制定了北宋初期的所有重大决策，赵普勤于相业，不管是辅佐宋太祖或者宋太宗始终是忠贞不二。他曾多次与宋太祖、宋太宗讨论理政治国之道，他认为君主应怀有爱民之心，而且要贯彻始终。
他曾对宋太宗说：“爱民之意”，“惟始终力行之，天下幸甚。”有一次，太宗问赵普，在治国之道方面还有什么好办法，赵普答曰：“陛下恤念生民，每闻利病，无不即日施行，古圣王爱民之心止于此矣。”他还提醒宋太祖应时时刻刻把百姓放在心上。
开宝六年（973）有一天，宋太祖在与群臣宴饮时，忽天降大雨，开始太祖有些败兴，及后雨越下越大，太祖已经怒形于色，左右群臣怕得罪，谁也不敢吭声，惟有赵普对太祖说，这场雨对大宴并无妨碍，可对老百姓却很难得，他们都在盼雨，这场雨他们一定很高兴，实在值得庆贺，请求乐官为之奏乐。经赵普这么一说，太祖马上高兴起来，命令乐官为喜雨而奏乐。赵普还认为，治国之道应赏罚分明、大公无私，他说：“帝王若赏罚无私，内外无间，上求其理，下竭其诚，驯至太平，不为难事。”他把大公无私比作大自然的天，说：“天发生于春夏，杀于秋冬，不私一物，此所以能长久，王者所宜法也。”赵普辅佐太祖、太宗对官吏严加选拔和考核。
他说：“治国莫如用贤，用贤莫如历试，历试莫如责功，责功莫如较考。”他请求太祖对官员进行考绩，提出以后拜节度使及武官等职必须要求立有战功，对宰相以及以下的百官应每年进行考绩，以“退不肖而进贤才”，“劝奉公而修职业，各尽能”。
他还说：“帝王进用良善，实助太平之理，然于采择，要在得所，”赵普选拔官吏，刚毅果断，敢于据理力争。他生平举荐过许多人，发掘过许多人才、他曾上疏太宗推荐张齐贤任宰相，说：“张齐贤素蕴机，兼全德义”，有“经国之才，堪副济时之”用”。他希望太宗“留居左右，历度艰难，缓急之时，堪期得力，如当重委，必立殊功”。以后张齐贤两次担任宰相，任劳任怨，工作相当出色。
赵普曾发现一个人很有才能，上奏向宋太祖推荐这个人做官。太祖看了奏章后决定不录用。但上朝时赵普又递上了同样内容的奏章，太祖大怒，把奏章撕破扔在地上，满朝文武都大惊失色，赵普面色不变，跪在地上将碎片拾了回来。隔些天，赵普将奏章碎片粘贴在旧纸上照旧奏荐。太祖终于领会过来，任用了这个人。
又有一次，许多官员当提升，太祖素来对其中一个抱有恶感，不打算给他升迁，赵普认为应升迁，坚持请求，太祖发怒说：“朕决心不让他升迁，你能怎么样？”赵普说：“刑罚是惩办作奸犯科的，封赏是酬劳有功绩的，从古以来都是这个道理。何况刑赏是天下的刑赏，不是陛下的刑赏，岂能以陛下喜怒好恶来决定。”太祖大怒，站起身来就走，赵普跟随在后。太祖进入后宫，赵普在宫门外性立，久而不去，终于得到大祖的同意。赵普对禁军将领的选择特别精心谨慎。乾德元年（963），宋太祖要提升天雄节度使符彦卿管禁军。赵普了解符颜卿在节度使任上专横放纵，恣意不法。他认为符颜卿的名位已经很高了，不应该再授给他兵权，但太祖不听，发出了委任诏令，并不许赵普再谏。
赵普把诏令扣留在自己手里，第二天上朝还给了太祖，劝太祖要深思利害。太祖问赵普为什么对符颜卿这样疑忌，太祖认为符颜卿不会有负于自己。赵普只好说了一句分量很重的话：“陛下何以能负周世宗？”太祖听了以后默默无言，于是中止了提升符颜卿的做法。
赵普也极为重视对法律方面的制订，建隆三年（962）朝廷决定更定刑统，命令兵部尚书窦仪主持这顶工作，《宋刑统》于第二年终于完成，经赵普的斟酌修改，连目录三十一卷，计十二篇，五百零二条。这是专属刑事法规，凡与别名无关的敕令，另编有《建隆编敕》四卷，与《宋刑统》一起颁布天下。
在封建专制社会里，皇权往往等于法，所谓“口含天宪”说的就皇帝的权力凌驾一切。但即使如此，赵普还努力影响和劝说太祖、太宗依法办事。
太平兴国年间有一个卖药的骗子陈利用得到了宋太宗的信任，官至郑州团练使。此人专横骄纵，目无国法，坏事干尽，还拉拢一些爪牙为其张目，朝中许多大臣敢怒而不敢言。赵普派人查清了他的恶迹，审讯时陈利用也都供认不讳并且表示服罪，赵普奏请朝廷把陈利用处斩，但太宗却下诏将其流放商州，不久又要让他回来。赵普说陈利用罪大恶极，处置如此之轻，天下何以能服，留这样的佞臣贼子有什么用？太宗反驳说，作为万乘之主，怎么就没有保护一个人的权利？赵普答道：“此人犯了十几条死罪，陛下不杀，他必然要混淆天下的法律，法应当爱惜，此人有什么可爱惜的！”太宗不得已命令陈利用在商州自裁，但随即又后悔了，急派使臣送去免死的命令，但赵普在使臣未到时就已经把这个恶棍杀了。
赵普独居相位达九年之久，朝政独断，威权日重，骄横之气也日盛，出现了刚愎自用、独裁的现象。他常在行署座位后边，放置两口大瓮，凡是不合他意的内外表疏，就随手扔在瓮内一烧了事，为此他也得罪了不少人。赵普虽然善于举贤荐能，但也有嫉贤妒能之时。宋太祖曾夸奖过枢密直学士右谏议大夫冯珍是当世罕有的奇士，要重用他。赵普出于妒能之心，先是把冯瓒弄到粹州去做官，又想用卑鄙的手段置冯瓒于死地，幸好宋太祖出面进行了保护，冯珍才幸免于难。
开宝六年（973），宋太祖有一天亲临赵普的府第，见廊下放置十个瓶子，太祖问是什么，赵普回答说是刚才吴越王钱俶派人带来书信时送来的海产。太祖说：“海产必然是好东西。”即命打开，里面装的都是瓜子金。赵普诚惶诚恐地叩头说：“臣还没有拆开书信，实在不知道。”太祖叹口气说：“受之也无妨，他还以为国家大事都是由你们书生做主呢。”显然矛盾已经出现了。
在这以后，就有人告发赵普私购官禁的秦、陇大木材，用来扩建府第；赵普的儿子娶了枢密使李崇矩的女儿为妻，违反了宰辅大臣子女不得通婚的禁令；赵普还包庇过受贿和拒不赴任的官吏等等。太祖大怒，决定借此机会分赵普的相权，诏令参知政事轮流与赵普知印、押班、奏事。开宝六年（973）八月太祖干脆就罢了赵普的宰相，出任河阳三城节度使，检校太傅、同平幸事。太平兴国二年（977），宋太宗诏令赵晋入朝，改任太子少保，迁太子太保，留在京都供职。在留京师的开始几年，因为中书侍郎卢多逊的诋毁，宋太宗对赵普怀有猜疑之。赵普郁郁不得志，一直没能人相。
后来，军中有人谋立太祖之子赵德昭未果，而被太宗所闻。太宗对德昭大加训斥，而德昭畏惧自杀身亡。接着太宗异母弟赵廷美因朝中有人诬告而被贬洛阳。
这一连串事情的发生，使贯于心计的赵普又抓住机会向太宗密陈：昭宪皇太后的遗书由他赵普代写，遗书命匡胤传位于匡义，匡义传位于廷美，廷美传位于匡胤之子德昭。他又用挑动性的语言说：传弟不传子的教训，你还不应该接受吗？贬往洛阳的廷美不思悔改，应该再加贬谪，以免后患。太宗依计而行，把廷美又贬往房州涪陵县（今居四川省）。赵普的密陈实际上是怀着个人目的而向太宗曲意诌媚，其结论是很明显的：既证明太宗继承兄位合乎祖宗遗旨，又唆使太宗将来传子不传弟，还提醒太宗注意来自赵廷美的威胁，不久赵廷美便盛年早逝，这等于为太宗清除了内患。赵普与太宗联手，成功地消灭了皇族中的政敌，二人便结成特殊的君臣关系。赵普立即被晋升为司徒兼侍中并再度入相，取得了新皇帝的宠信，才使宋太宗和赵普的关系有所改变。
太平兴国六年（981）九月，赵普被任命为司徒、兼侍中，又出任宰相，太平兴国八年（983）十月起普又被免去宰相职务，出任武胜军节度使、检校大尉兼侍中。以后开封尹陈王元僖上流太宗，推荐赵普再次人相。端拱元年（988）二月赵普再任兼侍中，淳化元年（990）正月自己主动要求免去宰相职务，以太保兼中书令克西京留守、河南尹。以后封为梁国公，又改分许国公。
史书记载，赵普年轻时懂得官吏的事务，读书很少，当了宰相后，太祖常劝他多读书，增长学识。赵普深有领悟，他孜孜不倦，有志于学，甚至到了晚年也手不释卷，有人曾讥讽他以半部《论语》治天下，据说他对此也默认，曾对太宗说过：“昔日以其半辅太祖定天下，今欲以其半辅陛下致太个”其实起普通过勤奋的学习，吸收了不少治理天下的道理和方法，又加上他善于审时度势，多谋善断，在事业上取得了很大的成就。
淳化三年（992），赵普拜为大师，封魏国公，当年七月因病去世，享年七十一岁。宋太宗闻此噩耗，“凄怆之怀，不能自已”，因此辍朝五日。追赠赵普为尚书今，追封真定王，谥忠献。太宗并亲自撰写了神道碑以纪念他，并以八分书亲笔书写。