《明律》中的许多规定在今天看来确实是十分残酷的，例如：凡奸邪进谗言使未犯死罪而致死的人，处斩；如有人犯了死罪，有人用巧言进谏，使之免于死罪的，进言者也要被处斩；即使是掌管刑律的官员，如果听从了上司的主使，减轻或是加重了罪犯的刑罚，也要被处死，并将其妻子充作官奴，家产没入官府。对于贪污，朱元璋的认识十分深刻，认为这直接关系到政治风气乃至国家的生死存亡，他说：“吏治之弊，莫过于贪墨。”认为此弊不除，欲行善政，绝无可能。于是，《明律》规定，官吏必须廉洁奉公，即使因公出差乘坐公车，也不能捎带私人财物，附载衣服等不得超过十斤，每超过五斤打十鞭，十斤加一等，直至笞至六十鞭。凡贪污者，至轻之罪也要发配到北方边地，如果贪污数额折价超过六十两银子以上，处以枭首、剥皮、实草之刑。其具体的做法是把犯官先砍去头，然后再剥下皮，把头挂在杆子上，把皮包上草秸，放在衙门口旁边的土地庙外，或是摆在公座之旁，其用意是警告后来的官吏，不得再行贪污。朱元璋的这一招虽不太人道，却十分有效，法令实行不久，吏治果然有所好转。
但尽管如此，还是有些官吏胆敢以身试法，1385年（洪武十八年），有人告发北平二司官吏李彧、赵全德与户部侍郎郭桓勾结贪污，朱元璋迅速查勘，追出赃粮七百万石。朱元璋大怒，把六部左右侍郎以下的官吏全部处死。经过拷打，又牵连了许多人，最后杀人总数，包括官吏和地主竟达数万人之多。在这种严刑峻法和“运动”打击结合的综合治理下，洪武年间的吏治总算呈现出了新的面貌。
第三，对官吏实行特务统治。
朱元璋设立了巡检司和锦衣卫，让巡检司专门负责盘查全国各地的过往行人，人们被限制在方圆一百里的活动范围之内，如有超出，须事先弄得“路引”，这是防止人民串联造反的重要措施；锦衣卫则是专门负责监视百官的动静的，就连街衢之上，也满布锦衣卫。这样，吏民的一言一行都逃不过皇帝的耳目。一次，博士钱宰罢朝回家，在路上信口吟道：“四鼓咚咚起着衣，午门朝见尚嫌迟。何时得遂田园乐，睡到人间饭熟时？”第二天上朝，朱元璋对钱宰说：“昨天做得好诗！不过我并未‘嫌’你啊，改作‘忧’字怎么样？”钱宰一听，吓得出了一身冷汗，连忙跪下叩头。好在朱元璋并不是要追究他的罪责，而是要显示自己的无所不知，钱宰才算没有惹出大祸。吏部尚书吴琳告老还乡，已是无所作为，但朱元璋还是不放心，常派锦衣卫去监视他。一天，特务向田间插秧的一个老农夫问讯道：“这里可有个退了休的吴尚书吗？”那老人拱手答道：“我吴琳便是。”朱元璋得到了这一消息，知道吴琳并无异志，十分高兴，奖赏了吴琳。大学士宋濂是著名的学者，对朱元璋可谓赤胆忠心，但朱元璋还不放心，经常派特务监视。一天，宋濂在家请客，特务竟把赴宴人等乃至菜肴全都列单汇报给了朱元璋。第二天上朝，朱元璋问宋濂请客及菜肴的情况，宋濂把所请客人和菜肴情况一一据实回答，朱元璋听后十分满意地说：“宋学士所说皆实，没有骗我！”国子监祭酒宋讷有一天在家生闷气，监视他的人认为有可能是对皇上不满，就偷偷地把他生气的样子画了下来，交给了朱元璋。第二天上朝时，朱元璋问他何故生气，宋讷做了解释，朱元璋知道他生闷气与朝事无关，才不追究。宋讷非常奇怪地问太祖怎么知道他的家事，太祖就把那张画像拿出来给他看，结果宋讷几被惊倒。
就这样，朱元璋掌握了臣下的一言一行，臣下深恐动辄得咎，真正做到了前人所谓的“慎独”，哪里还敢有不臣之心呢？
第四，实行舆论控制，以建立他在人们意识中的崇高地位。
在时人看来，朱元璋的出身十分微贱，祖祖辈辈都是替地主干活的农夫，而且他本人还做过和尚，因此，朱元璋做皇帝，不仅不符合当时的标准，简直对民众是一种污辱。尤其是许多贵族出身的文人，更是看不起朱元璋，根本不愿出来做明朝的官。对于这部分文人，朱元璋毫不留情。
例如贵溪儒士夏伯启叔侄两人为了找借口不出来做官，竟致把手指截断。朱元璋听说了，就特意把他们招来，当面质问：“过去世道动乱的时候，你们住在哪里？”他们回答说：“红寇窜乱之时，我们住在闽、赣一带。”朱元璋一听，勃然大怒，他起自红巾军，夏伯启竟敢把红巾军称为寇，实是胆大包天，当即下令把他们处死，并命令凡是不听征召、不与政府合作的知识分子，一律杀头抄家。
无意当中冒犯了他、甚至被人无中生有地构陷的人，朱元璋也横加杀害。例如，尉氏县教谕许元为本府作的《万寿贺表》中有“体乾法坤，藻饰太平”之句。其中“法坤”读作“发髡”，即剃去头发，朱元璋怀疑是讽刺自己当过和尚。“藻饰太平”与“早失太平”同音，这位教谕当然也就成了枉死城里的新鬼。怀庆府学训导吕睿为本府作《谢赐马表》中有“送瞻帝扉”，“帝扉”可读作“帝非”，朱元璋也怀疑这是吕睿暗示他不能当皇帝，也将之杀头。亳州训导林云为本州作《谢东宫赐宴笺》中有“式君父以班爵禄”，其中“式君父”可读作“失君父”；祥府县学谕贾翥为本县作《正旦贺表》中有“取法象魏”，其中“取法”可读作“去发”。朱元璋认为这些立辞都是对自己不敬，将他们全部处以死刑。逢年过节或是谢恩上表，这些文人总免不了要写一些歌功颂德的话，谁知却大遭其殃。最为怪诞的是杭州学府教授徐一夔为本府起草的《贺表》里有“光天之下，天生圣人，为世作则”之句，这本是极尽颂扬的话，谁知朱元璋见了大发其火，他说：“‘生’者，僧也，这是骂我当过和尚；‘光’则秃也，说我是个秃子；‘则’音近贼，是说我当过盗贼。”这位拍马屁拍到驴腚上的教授，只好呜呼哀哉了。在这种严酷的文字狱的统治之下，文人学士只好缩头缩脑，别说高谈阔论，发表什么政治见解，就是平时说话作文，也要小心万分，否则，不知什么时候，横祸就会飞到自己的头上。
朱元璋识字不多，却特别忌讳有人在文字上冲撞他，对于能合他心意的一些诗文词句，也格外见爱。一次，朱元璋微服出访，到了江淮一带的多宝寺，见寺中多宣多宝如来的佛号，就对侍从说：“寺名多宝，有许多多宝如来。”随行的学士江怀素知道太祖又在考较群臣，就马上趋奉道：“国号大明，无更大大明皇帝。”朱元璋一听大喜，把江怀素提升为吏部侍郎。朱元璋在江淮一带遇到以前的故友陈君佐，陈君佐少有才名，朱元璋就带他出入淮扬一带。一天，朱元璋在一家小店吃饭，忽有所思，又出对道：“小村店三杯五盏，没有东西。”陈君佐脱口而出对道：“大明君一统万方，不分南北。”朱元璋极其高兴，想让他随侍左右，当一词臣，陈君佐却过惯了逍遥自在的生活，不愿意随侍，朱元璋也未勉强。又过了几天，朱元璋遇一士人，见他文采风流，相问之下，知他是重庆府监生，朱元璋便命他属对，自出上联道：“千里为重，重水重山重庆府。”那士人也不假思索，开口对道：“一人为大，大邦大国大明君。”朱元璋闻言大喜，第二天就遣人送去了千两黄金。
朱元璋用这些手段改善了吏治，巩固了统治，树立了自己的威信。同时，他对于一些谋反或是不驯的功臣，也决不手软。“胡惟庸谋反案”和“蓝党大狱”不仅是明朝的两次大狱，也是中国历史上著名的大狱。这两次大狱共杀死了四五万人，朝廷官员几乎为之一空。自此以后，朱元璋的权力“棘杖”上的确没有扎手的硬刺了。
在明朝的开国功臣之中，武臣立功最著者，当推徐达、常遇春；文臣立功最著者，当推李善长、刘基。刘基是一位奇人，他洞察世事，无有不中，对朱元璋封赏的官职多次拜辞不受，因为他知道朱元璋生性忮刻，很难容人，跟他共事长久，必不免有杀身之祸。而李善长却官至右丞相，封韩国公，有骄矜之态。朱元璋渐感不满，想换掉李善长，让刘基为右相。刘基说：“善长是有功的老臣，能够调和各将的人际关系，不宜马上把他换掉。”朱元璋很奇怪地问道：“善长多次说你的短处，你怎么多次说善长的长处呢？我想让你做右相，不知怎样？”刘基顿首说：“换相好比换殿中的柱子，必得用大的木材，若用小的木材，不折断也必定仆倒，我就是那种小材，怎能当右相呢？”朱元璋问：“杨宪如何？”刘基说：“宪有相材，无相器。”又问：“汪广洋如何？”又答：“器量偏浅，比宪不如。”又问：“胡惟庸如何？”刘基急忙摇头道：“不可！不可！区区小犊，一经重用，必至辕裂犁破，祸且不浅了！”
不久，杨宪因诬陷人而被处死，李善长又被罢去相职，胡惟庸逐渐升为丞相。他听说了刘基对自己的评价，怀恨在心，就诬陷刘基的儿子，又害了刘基。刘基忧愤成疾，被朱元璋派人护送回青田，不久去世。
害死刘基之后，胡惟庸更加扬扬得意，肆无忌惮。他恃权自专，朝中生杀陟黜之事，不待奏闻，就自行决断，对于送来的奏章，他也先行拆阅，凡不利于己者，就藏匿不报。朝廷势利之徒，竟走其门，胡家珍宝金帛，积聚无数。魏国公徐达看不顺眼，就给朱元璋上了密本，说胡惟庸奸邪，应加诛除。朱元璋没有相信徐达的话，反给胡惟庸知道了这件事，胡惟庸因此对徐达怀恨在心，就私下里买通了徐达家里的看门人，让他诬告徐达。谁知弄巧不成，这计谋被自己的守门人报告了徐达，反而遭到了朱元璋的怀疑，胡惟庸每天上朝都提心吊胆，恐怕遭到不测，等了几天，竟然没事发生，才逐渐放下心来。自此他收敛了一阵。
后来胡觉得自己应当再找个牢靠的靠山，就看上了李善长，李善长虽不当丞相了，但还是十分受朱元璋看重，经常出入宫廷。胡惟庸请人作伐，把女儿嫁给了李善长的弟弟李存义的儿子，胡惟庸有了李善长这一靠山，不觉又趾高气扬起来。正巧，胡惟庸定远老家宅中的井里忽然长出了竹笋，高及数尺，一班趋炎附势之徒都说这是大吉兆，又有人说胡家的祖坟上每天晚上有红光照耀天空，远及数里。胡惟庸听了，更觉得是吉兆，越发得意。
恰在这时，德庆侯廖永忠因擅自使用皇帝的龙凤仪仗而被赐死。平遥训导叶伯巨上书劝谏朱元璋，说他分封太多，用刑太繁，求治天下之心太过迫切，结果使得朱元璋大怒，把他关进大狱，活活饿死。安吉侯陆仲亭擅乘驿车，平凉侯费聚招抚蒙古无功，均被朱元璋下旨严厉责罚。汪广洋罢相数年，由胡惟庸推荐，重登相位，不久又因刘基案被贬谪，汪广洋知道胡惟庸的不法行为，但一直替他隐瞒，在二次罢相之后，出居云南，不久即被赐死。
官吏屡屡得咎，使得朝廷之上人心惶惶，人人生怕祸及己身。尤其是汪广洋被赐死，更使胡惟庸觉得震动，他知道朱元璋迟早要惩治自己，就下定了反叛的决心。
首先，他把那些遭到朱元璋惩治而心怀不安的官吏争取过来，结成党羽，然后又托亲家李存义到他的哥哥李善长那里探听口风，李善长知道这是祸灭九族的事，起初不肯应允，经李存义再三说明利害，最后默许了。
从李善长的态度里胡惟庸得到了鼓舞，于是加紧谋反的准备活动。他把一些亡命之徒结纳为心腹，又暗地里招募了一些勇士组成卫队，并把天下兵力部署情况了解得一清二楚，再派人去同东南沿海一带的倭寇联结，引为外援，还结交了一些掌握兵权的人，准备一旦事发，就起兵响应。他又秘密结交日本国派来的贡使，作为事败之后的退路。
胡惟庸在觉得一切准备完毕之后，就于洪武十三年（1380年）正月，奏告朱元璋说京宅井中出了一眼甜泉，乃是大吉大利之兆，请朱元璋前去观看。朱元璋竟信了他的话，车驾从西华门出发，准备前往。就在这时，内使云奇突然闯入跸道，勒住了朱元璋的马缰绳，极力劝阻朱元璋，说是不可前往，由于情势太急，云奇声调急促，以至不能说得明白。朱元璋见此情景大怒，以为云奇放诞不敬，就喝命左右用金锤挝击。云奇断了胳膊，扑倒在地，气息奄奄，但却用手指着胡惟庸宅第的方向。
这时，朱元璋忽然有悟，忙登上高处向胡惟庸的宅第方向看去，但见胡宅中隐隐透出兵气，朱元璋大惊，立即发兵前往捕捉。不一会儿，羽林军就将胡惟庸及埋伏的甲士捉拿归案，经人对质，胡惟庸无法抵赖，只得承认。
胡惟庸被牵至市曹，凌迟处死。
朱元璋当然不肯罢休，派出官吏四处拷掠，把胡惟庸一案的新账旧账一同清算，由擅权枉法到私通日本、蒙古，再到串通李善长等人谋反，由此牵连到的胡惟庸的亲族、同乡、故旧、僚属以及其他关系的人皆被连坐族诛，此案先后杀掉了三万多人。
过了十二年，蓝党之狱又成。
凉国公蓝玉，是著名的武将，也是开国功臣，但为人桀骜不驯。蓝玉与太子朱标是间接的亲戚，往来很亲密。蓝玉在北征时看到燕王朱棣的行止，深感不安，回来后对太子说：“我看燕王在他的封地里实在是太威风了，其行止不亚于皇帝。我还听说燕地有天子气，愿殿下细心防备，免生不测。”太子生性忠厚，不愿生事，就对蓝玉说：“燕王对我十分恭顺，决不会有这样的事。”蓝玉见太子不信，只好自找台阶说：“我蒙受殿下的恩惠，所以才秘密地告诉你涉及利害的大事。但愿我说的不中，不要被我言中。”
不久，太子病死，朱元璋觉得燕王朱棣为人阴鸷沉稳，很像自己，就想立他为太子，但一些大臣反对，觉得于古礼不合，也对其他皇子无法交代，朱元璋只得立了朱标的儿子做皇太孙。
燕王朱棣见太子已死，无人替蓝玉说话，在入朝奏事的时候就对朱元璋说：“在朝诸公，有人纵恣不法，如不处置，将来恐成尾大不掉之势。”朱棣虽未明指蓝玉，但大家心里都清楚，蓝玉曾在太子面前说过朱棣，朱棣现在要施行报复了，再加上“纵恣不法”四字，更是确指蓝玉。
在这种情况下，蓝玉竟还率性而为，一点儿也不检约自己。他出征西番，擒得逃寇，且捉住了建昌卫的叛帅，自认功劳更大了，愈发得意扬扬，本以为回朝后定会大有封赏，没想到朱元璋根本就不理他。到册立皇太孙时，他满以为会让自己做太子太师，却没想到自己还是太子太傅，反倒让冯胜、傅友德两人做了太子太师。蓝玉十分愤怒，扯着袖子大喊道：“难道我还做不得太子太师吗？”他这一番闹腾弄得朱元璋更不高兴。
自此以后，蓝玉上朝奏事，没有一件能够获准，但他不仅不知收敛，还更肆无忌惮，即使陪皇上吃饭，也出言不逊。一次，他见朱元璋乘舆远远经过，便指着说：“那个乘舆的人已经怀疑我了！”
此语一出口，大祸即来。其实，蓝玉并未像胡惟庸那样谋逆，只是“祸从口出”罢了。
锦衣卫听到了这句话，立刻告及朱元璋说蓝玉谋反，并说他与鹤庆侯张翼、普定侯陈桓、景川侯曹震、舳舻侯朱寿、东莞伯河荣、吏部尚书詹徽、户部侍郎傅友文等人设计起事，欲劫皇上车驾。朱元璋听了，正想杀人而找不到借口，便不问青红皂白，一齐拿到朝廷，并亲自审问，再由刑部锻炼成狱，以假作真，全部杀死。