鄱阳湖之役后，朱元璋的领土已扩大到长江中下游的广大地区。地广兵多，局面打开了。这样，朱元璋在部下的再三劝说下，于1364年正月，在应天自称吴王，设置百官，建中书省，以李善长为右丞相，徐达为左丞相。是年二月，朱元璋乘胜亲征武昌，陈理举国请降，汉政权灭亡，湖广遂划入朱元璋统治的版图。
朱元璋灭亡了汉政权后，又开始向新的目标挥师进军——消灭雄踞东方的张士诚。张士诚出身私盐贩子。其基干队伍也是一些盐贩子、盐丁、中小地主和部分贫苦农民。他们由于不堪忍受元朝统治者的压迫凌辱，奋起起义，作战十分勇敢。但其领导集团没有远大目标，腐败得很。朱元璋采取了先剪枝叶后除根本的策略，将张士诚外围城市据点泰州、徐州、淮安等淮水下游地区以及湖州（今浙江吴兴）、杭州等地先后攻取，最后包围了平江。
平江城十分坚固，一时难以攻克。朱元璋想起了几年前海宁人叶兑献的“销城法”，便命令士兵在平江城四周筑起长围，搭架三层木塔，登上塔顶，由此城里敌人的活动看得清清楚楚。他们又在塔顶架起弓弩火铳和铁炮，日夜轰击。经过10个月的激战，平江被攻破，张士诚被俘。随着朱元璋势力的不断扩大，深感龙凤政权已成为其统一全国的绊脚石。因而决定踢开龙凤政权自立，于是在进攻张士诚的同时，他阴谋杀害了小明王。从此朱元璋不再使用龙凤年号，将1367改为吴元年。
朱元璋攻占了张士诚盘踞的长江下游大片地区后，又制服了浙东的方国珍，平定了福建的陈友定，并乘胜南进，攻克广东、广西。在实现了陈四川、云南外的整个南部中国统一后，朱元璋不失时机地调集精锐部队实施北伐，同元朝封建政权展开最后的大决战。
这时的元朝政权在红巾军连续的沉重打击下，加之内部派系林立，矛盾重重，已是摇摇欲坠，日趋瓦解了。
至正二十七年（1367）十月，朱元璋派徐达、常遇春率师北伐。大军出发前朱元璋亲自制定了一整套周密的作战计划：先取山东，拆除大都的屏障；再挥师河南，剪除其羽翼；然后夺取潼关，占据门户。
如此一来，天下形势全为其所掌握，最后进兵大都，元军孤立无援，可不战而克。
在北伐战争中，朱元璋提出了“驱逐胡虏，恢复中华，立纲陈纪，救济斯民”的口号对深受民族压迫的北方广大民众产生了很大号召力，广大民众纷纷响应，许多城池不战而降。
很快北伐军横扫中原，直逼大都，元军却在因皇位的争夺而忙于内战。待潼关失守，元顺帝才慌忙调集正内战不休的扩廓帖木儿（王保保）、李思齐的队伍，南下迎战。但腐败的元军哪里还有战斗力，逢战必溃。元顺帝眼见大势已去，深夜带着后妃太子狼狈逃往上都（今内蒙多伦）。第二年八月徐达统领大军攻进大都，正式宣告统治中国达99年的元朝政权的灭亡。
接着，徐达、常遇春乘胜挥兵四进，攻占了北方诸省。1371年朱元璋又遣水陆两军，平定了四川。
1382年平定了云南。1387年元朝丞相纳哈出降辽东。至此，除漠北新疆外，统一全国的大业已基本实现。
元至正二十八年（1368）正月，正当北伐军胜利攻克山东的时候，40岁的朱元璋在文武百官的欢呼声中，于应天正式登上帝位，国号大明，建元洪武，以应天为南京。立马氏为皇后，长子朱标为皇太子。仍以李善长、徐达为左右丞相，就这样，一个穷和尚，经过艰苦奋斗，终于成为大明帝国的开国皇帝。
因为朱元璋出身农民，知道农民的辛苦，所以对百姓采取休养生息政策。洪武元年，他即位不久就召见各地来朝的府州县官说：“天下刚刚平定，百姓财力困乏，就如初飞的小鸟，不可以拔掉它的羽毛，刚栽上的树，不可以动摇它的根部，最重要的是休养生息。”
朱元璋吸取元朝的教训，开始制定法律，就是很有名的《大明律》。
朱元璋对自己制定的法律，满怀信心，带头实行，而且执法是相当严厉，这在中国古代封建皇帝中是少有的。他的女婿、驸马都尉欧阳伦，凭着自己是马皇后亲生女儿安庆公主的丈夫，不顾朝廷的禁令，向陕西贩运私茶。后来河桥巡检司的一位小吏向朱元璋告发了此事，朱元璋立即下令赐死欧阳伦。
朱元璋当皇帝的30年中，还公开镇压了几起大贪污案，其中最大的是郭桓案。郭桓案发时为户部侍郎。洪武十八年（1385），御史余敏等告发北京承宣布政使司、提刑按察使司的官吏李彧（yù）、赵全德等人，伙同郭桓等人贪污舞弊，吞盗官粮。朱元璋抓住线索，命令司法部门依法严加追查。这个案子后来又牵连到礼部尚书赵瑁（mào）、刑部尚书王惠迪、兵部侍郎王杰、工部侍郎麦志德等高级官员和许多布政使司的官员，贪污盗窃的钱折成粮食达2400多万石。案件查清后，朱元璋下令将赵瑁、王惠迪等人弃尸街头。郭桓等六部侍郎及各地方政使司以下的官员有上万人被处死。有牵连的官吏几万人被逮捕入狱，严加治罪。各地卷入这个案件的下级官吏、富豪，被抄家处死的不计其数。
为了加强对臣民的监视和控制，朱元璋专门设立了巡检司。当时，全国各府县的关津要冲之地，都由巡检司负责把关盘查，缉捕盗贼，盘诘奸伪。百姓如果要到百里之外去，事先必须办理路引，否则就通不过关卡。
洪武十五年（1382），朱元璋又正式把自己身边负责警卫事务的亲军都尉府（前身是拱卫司）改为锦衣卫。秘密侦察大小官吏的活动，随时向朱元璋报告社会上不公不法之事。同时，还授予锦衣卫以侦察、缉捕、审判、处罚罪犯的一切大权。在锦衣卫内设立了特殊的法庭和监狱，将锦衣卫变成正式的特务机构。
朱元璋在位的30多年间，特务多如牛毛，遍布街巷路途，严密监视着朝野内外、文武官员的活动，然后向朱元璋报告。
大学士宋濂一次在家设宴招待客人，第二天朱元璋问他，“昨天请客，喝酒了吗？做的什么菜？”宋濂如实做了回答。朱元璋笑道：“说得对，没骗我。”
国子监祭酒宁讷一天在家暗生闷气，偷偷监视他的特务竟把他这时的样子画了下来，上报皇上。
朱元璋见了宋讷问道：“昨天你在家生什么闷气呀？”宋讷照实做了回答。他吃惊地问朱元璋如何知道此事？朱元璋将画像递给他，他展图一看，方才醒悟，慌忙磕头谢罪。还有一大臣一日无事，在家与妻妾玩麻将，无意中丢了一张二万，怎么找也找不着。第二天上朝，朱元璋问这个大臣昨天在家干什么，该大臣如实说是在家与妻妾玩牌，请皇帝恕罪。朱元璋听后说：“卿不欺我，朕不怪也。”说完从袖中摸出一张二万扔给了他。
这样一来，文武百官不管是在朝还是回家后，个个小心，人人自危，时刻处在紧张的气氛中。
加强集权铲除功臣建国以后，朱元璋借鉴历史上成败治乱的经验教训，大刀阔斧地开始了以改革旧制、建立高度中央集权为目标的宏伟事业。
朱元璋的体制改革是首先从地方机构开始的。元朝地方设置的行中书省，是从中央的中书省分设出来的。职官的设置同中央中书省一样，掌管着一个省的军政、民政、财政和司法等大权，地位显赫，权力很大。实际上一个行中书省，就是一个小独立王国。朱元璋想要把地方的权利收归中央。
在一番准备之后，朱元璋于洪武九年（1376），下令废除了地方上的行中书省，改设承宣布政使司，简称布政司。布政司设左、右布政使各一人。其权力范围也只限于民政和财政，按照皇上的意志管理地方政事。当时全国共设13个布政司。同时，地方上还设置了管理军事的都指挥使司和管理司法的提刑按察使司。三个机构彼此既各自独立，又相互牵制，同时直接听命于皇帝。从而把行中书省权力一分为三，改变了元代中央权力分散和地方权力过大的强枝弱干局面，使地方权力牢牢掌握在皇帝手中。
实现了对地方行政机构的改革之后，朱元璋又开始集中精力对中央政府机构，首先是总揽天下政事的中书省实行改革。本来中书省在中央的各个权力机构当中，位置最高。其行政长官左、右丞相，又负有统率百官之责，权力很大。明初的第一任左、右丞相分别是李善长和徐达。李善长为人处事，向来以小心谨慎著称。徐达则较多时间是带兵征战在外。他们都没有与皇上朱元璋形成大的矛盾冲突。
但相位传给胡惟庸之后，他独揽大权，朱元璋不能容忍相权对君权的威胁，决心废除丞相，把大权掌握在自己一个人手里。
胡惟庸是定远人，与开国第一号功臣李善长的有亲戚关系，他依仗着李善长这个后台当上了左丞相。在朝中独断专行，官员升降、生杀大事，都自作主张，不向朱元璋请示；朝野内外的报告，凡对自己不利的全扣下来；想做官、升官的人，都奔走他的门下，收受金银、绢帛、名马、玩物不计其数。他四处网罗自己的党羽，培植自己的亲信，组织自己的小集团，打击异己力量，称霸天下。
一天，胡惟庸的儿子乘马车在南京城里招摇过市，不小心从车上跌下来摔死了，胡惟庸判车夫抵命，并处死了车夫。朱元璋知道后，十分气愤，他非要胡惟庸偿命不可，胡惟庸请求，向车夫家人赔偿金帛以了此事。朱元璋坚决不准。胡惟庸听了十分紧张，遂坚定了起事政变的决心。
洪武十三年（1380）正月，胡惟庸入奏，诡称其住宅中井出醴（lǐ）泉，请朱元璋去观看。朱元璋好大喜功，信以为真，也就匆匆驾出西华门。他正行进中，突然内使云奇冲上跸（bì）道，拦住车马，慌忙中一时说不出话来。朱元璋以为不敬，即令左右侍卫棍锤乱下。顿时，云奇右臂被砸断，生命垂危。但他仍用左手直指胡惟庸的宅第摇晃。朱元璋猛然醒悟，急忙返驾登城，远远望见胡惟庸宅第中绕有兵气，以此定胡惟庸谋逆，立即发羽林军逮捕胡惟庸，将其抄家灭族。随着明王朝的建立，昔日与朱元璋共同出生入死的将领都已封公封侯，爵高位显。这些功高震主的将领不免做出恃功骄傲、仗势欺人之事。为加强皇帝权威，同时顾虑太子朱标忠厚，镇慑不住功臣名将，朱元璋决定借他们违法之机进行镇压。朱元璋又以与胡惟庸交通谋反的罪名杀掉了一大批功臣勋将，甚至连位居“功臣第一”的年迈77岁的李善长以及全家70多人也全部伏诛，整个胡案前后共杀掉3万多人。
洪武二十五年（1392），太子朱标病故。朱元璋立朱标之子朱允（wén）为皇太孙。朱允炆年轻懦弱，朱元璋对此十分担忧。为解除后顾之忧，洪武二十六年（1393），朱元璋又兴起蓝玉狱。大将蓝玉是洪武中后期的主要将领，作战勇敢，战功赫赫，被封为“凉国公”。但此人居功自傲，骄横不法。朱元璋加以谋反罪名，兴起党狱，将蓝玉斩首并抄斩三族，凡与蓝玉关系密切的朝臣，坐党者则夷灭。蓝玉案先后谋杀15000人，功高位显的元勋旧将几乎杀个干净。这样，朱元璋利用胡、蓝之狱，前后10几年共诛杀功臣45000人，其残忍实千古所未有。
朱元璋宣布撤销中书省，罢除丞相，提高吏、户、礼、兵、刑、工等六部的地位。由六部分理朝政，直接对皇上负责。并且规定，后代皇帝不得再立丞相，大臣中如果有奏请再立者，处以重刑。就这样所有的国事就落到了皇帝一个人身上。朱元璋在8天之内，要看内外诸司奏札1660件，共计3991件事，也就是说平均每天要看或听200多件报告，处理400多件事，平常人是难以承受这一繁重任务的。再加上激烈的政治斗争，使他忧虑江山万世永固，也迫使他辛勤工作。
洪武三十一年（1398）六月，朱元璋病逝，正因为“勤政”，朱元璋成为历史上为数不多具有远见卓识的君主。他一生勤政爱民，实行休养生息的政策，减轻对人民的剥削。因为出生贫苦，深知物力为艰，因此大力提倡节俭，并以身作则、坚持一生。而且他还是一个勤奋好学的君主，从目不识丁到写诗作赋，其恒心和毅力在帝王中是少见的。但他残杀功臣，大兴党狱也实属千古罕见，由此成为历史上争议颇多的帝王之一。