刘大夏，字时雍，号东山，明代华容(今属湖北)人。他于天顺八年(1464年)中进士，被选为翰林庶吉士。此后，本来可以留在时人向往的翰林院步步高升，但他却主动要求到地方去做官。由于他勤政廉政又精明能干，官职不断升迁。数年后，被任命为广东右布政使。
刘大夏上任不久，就开始清查布政使银库。他发现有一笔巨款没有人账，就问库吏为什么？库吏告诉他，这笔款从来不上库簿，都是历任布政使直接掌握和具体支配的。照现在的话说，属于单位的“小金库”，由单位领导来安排。那库吏还劝刘大夏萧规曹随，照例行事。刘大夏听后，思忖良久，突然大声地自我责备起来：“刘大夏啊刘大夏，多年来你一直在读圣贤书，做好人，可今日却为何遇到这么一件事，就沉吟许久呢？实在是有愧古人，非大丈夫也！”说罢，即命库吏将这项余羡如数登入库簿，作正支销，自己分文未取。
后来，刘大夏又被任命为都御史负责治河，作为钦差大臣到宣府(今宣化)清理兵饷。无论到哪儿，他都严于律己，决不私占一文钱。在宣府，他还针对当时当地的实际情况，限制势豪，并鼓励中等之家纳粟，从而保证了边防的军需供应，协调了军民关系，他本人也随之名声日着。
刘大夏年过花甲后，惟恐力不从心而有误国事，曾接连三次上书请求致仕(退休)。明孝宗朱佑樘见他体弱多病，只好答应了他的要求。但他在家休养不到二年，朝廷又基于两广一带“盗贼”猖獗，民怨沸腾，起用他为右都御史，总理两广军务。他接到圣旨，只带了两名书童，便赶赴两广。到任后，他经过认真的调查研究，方知两广因赋役不均，才导致了社会矛盾激烈尖锐。于是，有的放矢地采取了一些有效措施，使当地治安状况迅速好转。史书上说：他“为清吏治，损供亿，禁内外镇守官私役军士，‘盗贼’为之衰止。”
刘大夏为人刚正，从不顾私，即使在皇帝面前也总是直截了当地发表个意见。有一次，他向孝宗上陈兵政十害，孝宗命他更详细地谈一谈弊端之所在，他便列举了南北漕运中的军民之苦，边防军的困敝，以及一些文官武将如何侵吞公款、搜刮民财等等，引起了孝宗的高度警觉和重视。也正因此，他得罪了不少权贵。
孝宗死后，武宗朱厚照继位。在武宗正德初年，大太监刘瑾专权。这时，70多岁的刘大夏已退休还乡，但奸臣焦芳等人仍诬告他贪污受贿，还说他家的财货足够边防费用十几年。刘瑾遂公报私仇，下令逮捕刘大夏，将他下狱戍边，并抄他的家。当官校到达刘家时，只见刘大夏正在园内种菜；当翻遍了他家所有的箱柜，只找到了俸金30两。刘大夏将这些钱全都交给了官校，而那官校却流着眼泪拒绝而去。
刘大夏被发戍肃州(今甘肃酒泉)。临行前，“观者叹息泣下，父老携筐送食，所至为之罢市，焚香祝刘尚书生还”。
据史载，刘大夏被冤枉的消息传出后，朝野无不震惊，就连朝鲜、越南的使臣也都频频询问，并公认他为海内第一人。
正德十一年(1516年)，刘瑾因图谋发动政变而被杀，刘大夏这才被赦归。从此，他在家率子孙种田。稍有盈余，即分送给亲朋故旧中的一些贫困人家。
刘大夏当年曾有两句名言，一是“居官以正己为先，不独当戒利，亦当远名”；二是“人生盖棺论定，一日未死，即一日忧责未已”。前一句的意思是：做官要首先正己，而后才能正人，只有不图名利，才能真正做到清正。后一句则是说：严于律己要自始至终，不可有一日松弛。他晚年时，又为自己写了一篇墓志，其中有句话是：“无使人饰美，俾怀愧地下也。”意思是：无须别人去美化与吹捧，扪心自问，无愧于良心，方可以死而瞑目。许多人认为：这些话都是他一牛的真实写照。