洪武元年（1368年），朱元璋建立明朝，设置御史台，以刘基为御史中丞，担任御史台的行政长官。七月，朱元璋北巡汴梁，命刘基与中书左丞相李善长留守应天。这期间由于刘基的刚正不阿，得罪了大明第一功臣李善长。
在朱元璋走之前，刘基就要求严肃纲纪，严惩不法者，朱元璋完全同意刘基的观点。刘基平日刚严，凡见官吏犯法，即严惩不贷，所以当时的官吏都很惧怕刘基。就在朱元璋北巡汴梁之际，中书都事李斌犯法当斩，可是此人是李善长的亲戚，李善长在此时便替他向刘基求情。李善长认为满朝大臣都会看在自己这个开国第一元勋的面子上放过李斌，刘基也应该是这样，谁知道刘基没答应，并且派人赴汴梁奏斩李斌。李善长由此怨恨刘基。
刘基在担任御史中丞期间，不但不畏权臣，而且敢于直谏。洪武二年九月，朱元璋与群臣讨论建都之地。有的人说，关中是天府之国，地理位置险固，又是汉唐旧都，应该定都在关中。有的人说，洛阳处在天下中心位置，应该建都洛阳。有的人说，汴梁是大宋旧都，于此建都可以收买人心。有的人则说北平宫室完备，建都于此可以节省民力。朱元璋听了诸臣的建议后说，你们说得都很对，所不同的就是说法不同而已。应天有长江天险，龙盘虎踞，足以建都。而临濠（今凤阳），前有长江，后有淮河，有险可依，可以建为中都。群臣听了朱元璋的一番话后，都交口称赞。在大家都应和讨好君主的情况下，唯有刘基大胆持反对意见。他说：“临濠虽然是陛下的家乡，但是却不是建都之地。”刘基的一句话一针见血，一语道破了朱元璋的真实想法，临濠无论是从地理位置还是从政治经济角度看，都不适合在这里建都，朱元璋之所以要建都于此，只因为这里是他的家乡而已。刘基这样直言不讳地谏阻皇帝，当然惹得朱元璋大为不悦。他最终还是没有听从刘基的建议，正式下诏以临濠为中都，并改名凤阳。
刘基在开国之后，既敢于抗言直谏，又敢于得罪权臣。但是对于一般的大臣，他却很宽容。他经常在朱元璋面前解救廷臣，被他解救的廷臣知道刘基救了自己，都满怀感激之情前去致谢，还有很多人在免遭责罚之后还不清楚是谁救了自己。对于这些，刘基都只字不提。从这些事上，我们可以看出刘基的为人。对于平民百姓，刘基一直主张要爱民宽仁。在刘基担任御史中丞期间，经他手平反了不少冤案。
朱元璋于1368年称帝，建立了大明皇朝。虽然元顺帝已经逃往上都和林，割据各地的军阀也基本被消灭。但是，经过元朝历代皇帝的荒纵，还有数十年以来的战祸，封建统治秩序几乎全被打乱。现在首先要做的是恢复统治秩序，发展生产。重建一个国家不是朱元璋手下这些大将能做到的，就是文臣之首李善长也不能做到完美。此时，刘基呕心沥血，为大明朝重建封建秩序作出了巨大的贡献。洪武元年，朱元璋登基称帝后，拜刘基为御史中丞兼太史令加太子赞善大夫。即位后，朱元璋问刘基，过去群雄角逐，生灵涂炭，现在天下太平，应该用什么方法使百姓休养生息呢？刘基回答说，使百姓安居乐业，就是要做到对百姓实行仁政，不要过分剥削百姓，这样天下就会安定。从这里我们可以看出，刘基治理国家的理论基础是传统的儒家思想。早在他投奔朱元璋之前，他就有一套完整的匡治天下的理论和方法，这个理论和方法，集中地反映在他所著的《郁离子》一书中。
他认为，治理天下就像医生治病一样，关键在于切脉、审证、开方、用药几个环节。治理天下也同样是这个道理，一个国家的纲纪就是这个国家的脉象，社会治乱就是症状，道德和刑罚就是药房，而各级管理人才即大小官吏就如治病的药材，只要把握国家的纲纪、德刑、人才就能治理好天下。他认为治世的原则，应该是德刑并用而以德为主，就是要首先反对暴虐，反对无止境的榨取，要有仁爱之心，懂得关心和爱护百姓以仁慈感天下，同时还必须有严明的法纪，有法必依，执法必严，使人有所畏惧，以维护不可动摇的封建统治秩序。德治威行，前者是本，后者是辅，只有德治才能真正取胜天下。他还认为，德治的关键在于吏治，即在于选用人才。治好天下应该启用秉公执法、德才兼备的人担任各级官吏。他主张不拘一格选拔人才，唯能是用，量才录用。刘基根据这套理论与方法，帮助刚刚建立政权的朱元璋治理天下，收到了很好的效果。
刘基认为开国之初施行仁政的最大障碍就是纲纪不严。自宋朝和元朝以来，尤其是在元朝末年，从皇帝到各级官吏，上贪下暴，纲纪败乱，致使生灵涂炭，群雄四起。因此当前最重要的就是振肃纲纪，再施行仁政。他把振肃纲纪、建立法令制度当做头等大事。早在明朝建立以前，刘基就针对军队滥杀无辜的严重现象，恳请朱元璋立法加以制止，朱元璋采纳了他的建议，每当军队攻下一城后，便命李善长把事先写好的禁约四处张贴，还派人沿街巡查，凡遇到违反禁令的，当场治罪。由于纪律严明，朱元璋军队的声威越来越大。这也是他削平群雄，最后取得统一中国胜利的重要因素。
明朝建立后不久，刘基奏请并亲自参与制定《大明律》与《军卫法》。吴元年（1367年）十二月，刘基与李善长等人编制的律令完成，这就是《大明律》最早的雏形。经过朱元璋审阅及群臣讨论，作了些修改，删繁就简，减重从轻，然后颁布施行。《大明律》共计285条，其中145条是唐朝《永徽律》的旧条例。在此基础上，朱元璋又在五年后加以修改，最后终于在洪武三十年正式颁行。《大明律》是中国法律史上极其重要的一部法典，其总的精神就是宽和待民与严惩贪官。这些无一不体现了刘基的治世思想和治国理念。
洪武元年，刘基又奏请建立军卫法，军卫法又叫卫所制，是明初的一项重大措施。刘基根据百姓需要休养生息，用兵却又不能少的实际情况，兼取古代军屯与府兵制的长处，创立了卫所制度。这种军事制度有两个特点：一是常备军与农业生产密切结合。二是将领不得专有军队，军队属于国家即皇帝，将领只是统领。这样一来，军队通过屯田就能自己解决军粮问题，而且还能防止因将领长期带兵，军队成为将领
私人军队现象的出现。既节省了国家开支，又保存了国家实力，一举两得，难怪朱元璋为此而自豪。如此一来，骄兵叛将、悍将跋扈的危险就没有在明朝出现过。这可以说是刘基对明朝最大的贡献。
《大明律》和《军卫法》的制定，在明朝是两件大事，刘基作为开国元勋，首先倡导并直接参与制定，充分体现了他非凡的治世才能。