洪武八年（1375年）三月，朱元璋派人护送刘基返乡养病。临行之前，他写了一道密文交予刘基，在这篇密文的字里行间流露出君王的无情：“君子绝交，恶言不出；忠臣去国，不洁其名。”
刘基刚返回故里，病情迅速恶化，一个月后，六十五岁的刘基走到了油尽灯枯的地步，死在了浙江青田故里。关于他的死，历史在这里打了好几个弯弯绕。
朱元璋后来与刘基的儿子在谈到这件事的时候，把刘基死亡的责任一古脑儿都推到胡惟庸的身上，当然这是发生在刘基死了十几年以后的事。这时候的帝国权力层已经发生了颠覆性的变化：一是独相胡惟庸被杀，震动帝国上下；二是朱元璋试图将胡惟庸的党羽扩大化，那样的话就可以将其党羽剔除干净，并且借着胡惟庸案大肆杀戮功臣。
史料记载，洪武二十三年（1390年），朱元璋对刘基的次子说过这样几段话：“你父亲活着的时候，满朝都是党，只是他一个不结党，结果遭到了胡惟庸的毒害，吃了他（们）的蛊。”
又说：“你休道你父亲吃了他们的蛊，其实你父亲心里是有分晓的，他们便忌恨于他。若是那无分晓的，他们也不会忌恨他。到如今，我朝廷是有分晓的，终不会亏待了你父亲的好名声。”
朱元璋还对其他大臣们说：“刘伯温活着的时候，胡家结党，只是老子说不倒。后来胡家结党，加害于刘伯温。一日刘基来对我说：‘上位，臣如今肚内一块硬结，怛谅看不好。’我着人送他回去，家里死了。后来宣他儿子来问，他儿子说（肚子）胀起来紧紧的，后来泻的鳖鳖的，人却死了，这正是着了蛊的迹象。”
其实在这件事上，胡惟庸极有可能是背了黑锅的。胡惟庸“谋逆案”本身就是一件不靠谱的事，在某种程度上是一个冤案。帝国丞相之死需要给天下人一个能够自圆其说的理由，而谋逆是最好的选择。在朱元璋的一手操作之下，胡惟庸死后很多年，那些要命的黑材料还在一条一条往他的档案袋里塞。其中胡惟庸下药毒死刘基，也就成为其中一条罪状。
胡惟庸接过李善长淮人集团的衣钵，有心将刘基逼向绝境。此时的刘基已经对他构不成威胁，他不会为了一个老病将死，离开朝堂之人去冒这个险。话说回来，就算真是胡惟庸毒死刘基，那么真正的幕后主使又是谁呢？
其实朱元璋、胡惟庸（淮西派）在这里玩了一出无间道式的权力博弈游戏。朱元璋很好地利用了帝国官僚集团的内部斗争，将刘基之死与胡惟庸谋反案捆绑在一起。
朱元璋除掉刘基的决心已定，却不想亲自动手，免得背上千古骂名，眼见胡惟庸如此急不可耐地要置刘基于死地，正好可以顺水推舟，借刀杀人。
他也不用说什么，只需要做几个冷漠与怀疑的表情，以胡惟庸的精明又怎能不领会皇帝的意思。更何况此时的胡、刘二人势力过分悬殊，一个是把持威权的独相，一个是被皇帝抛弃的过气老臣。君臣相互利用，但终是朱元璋更胜一筹，成为最后的胜利者。
等到多年以后，朱元璋以雷霆手段扫荡了帝国官场之后，说了一句意味深长的话：满朝皆党，只有刘基不从。这等于是在为胡惟庸案的扩大化制造舆论，就算刘基真是一个能掐会算的半仙，也算不出来，自己在死了以后，还能够成为朱元璋手里一颗有用的棋子。当然也有人认为，这是刘基在临死之际布下的一场权力弈局，而布下这场局的目的就是为了瓦解李善长、胡惟庸的淮西集团。
如果上面的说法有一个成立，那么刘基之死，就更具有一种英雄末路的悲剧色彩。
但无论怎样，刘基与李党之争，是以个人之力同一个权势在握的庞大党群相抗，这无疑是以卵击石，注定了他在这场斗争中失败的命运走向。
在刘基与淮西集团博弈的过程中，朱元璋将这一切尽收眼底。胡惟庸上蹿下跳的表演在朱元璋看来和一个官场小丑没什么两样，无所掣肘的相权是可怕的。此时的朱元璋，心里已经渐渐有了改组中书省、废除宰相制度的想法，但如此大动作非得有人祭血才行。
胡惟庸做中书右丞相以后，收受贿赂、任意处分官员、截留奏章都是有的，但靠这些鸡零狗碎的罪名将一个丞相定罪，显然分量还不够。
洪武九年（1376年），胡惟庸在右丞相的位置上已经待了三年时间。
朱元璋仿佛娇宠一个放肆的小孩，任其为所欲为。也许是为了让他更好地专权，这一年，中央政府撤消了中书省编制中的平章政事和参知政事这两个职位（平章政事就是副宰相）。虽说多年空缺，位置此前可一直没有废除。同时，在地方上废除了元朝实行的行中书省制度，改由承宣布政使司担任地方行政长官，直接向中书省负责。
本来在中书省的编制中，左、右丞相是级别最高的，其下分别为平章政事，左、右丞和参知政事，如今废除了平章政事和参知政事的职位，中书省就只剩下了左、右丞相和左、右丞的编制，其下虽然增设了几个和地方布政使司相联系的位置，但不过是辅助丞相而已。
权力机构的改革使得胡惟庸在中书省，甚至在帝国的整个官僚集团，都获得了一人之下、万人之上的权力。