司马光的父亲叫司马池，据史书记载是个勤政爱民的好县官，生活十分朴素，其饮食一贯是粗茶淡饭，绝不奢华，即使招待上级官员，也只是用当地的山果、土产的蔬菜，而且也只限于三五道菜。父亲的俭朴，影响了司马光的一生。他常常用幼年所受到的家风的陶冶励己励人，教育儿孙，讲解“以俭立名，以侈自败”的道理。
司马光20岁那年进京参加科举考试，一举中了进士甲科。按常例，新中进士的人要参加皇帝赐予的“闻喜宴”（也叫“琼林宴”）。参加宴会之前，朝官们献给司马光一朵光荣花，让他戴到胸前。可是司马光说什么也不戴，不愿炫耀自己。其他中进士的人都戴上了光荣花，有一个中进士的人告诉他：“这是皇帝赠的花，不戴是大不敬。”司马光这才勉强把那朵花戴上了。
在封建社会里“一任清知府，十万雪花银”被看成是天经地义的。司马光做了几任地方官后升任朝官，成了显贵。这时，他的老友刘蒙向司马光要五十万钱。司马光对老朋友这样不了解自己，实在感慨，立即回信一封，说：“我司马光一贯小心谨慎，俭朴为官，一分一毫也不敢妄取于人，食不敢常有肉，衣不敢纯衣帛，视地而后敢行，顿足然后敢立，连亲属故旧我都拿不出钱来帮助，哪来的钱给您呀！”刘蒙这才知道司马光与一般当大官的人不同。
司马光一度在朝廷做谏官（职责是对皇帝谏诤），在无数的谏奏中，关于劝俭戒奢方面的占了一大部分。一些大臣为了讨皇帝、后妃的欢心，在大灾之年竟拟定了一个规模宏大的元宵庆典。司马光连上奏折，制止这种有害于社会淳朴之风的庆典。司马光总结无数历史经验，告诫皇帝荒淫奢侈，必然对政事怠惰，就可能招致亡国的危险。
司马光的老伴张氏，伴随司马光46年，早于司马光二年去世。这时的司马光已是北宋的重臣，虽然还未做宰相，朝野上下都称他为“真宰相”。可是他未为爱妻大操大办丧礼，而是卖掉自家的一顷薄田，简朴地安葬了。
司马光晚年谆谆告诫儿子司马康的还是一个“俭”字。他写了《训俭示康》的文章，这篇文章一直保存到今天。在这篇短文中，他说了一句流传千古的话，这就是：“由俭入奢易，由奢入俭难。”
品德之音
勤俭是一种美德，是中华民族的优良传统。小到一个人、一个家庭，大到一个国家，要生存和发展，都离不开勤俭。北宋司马光著《训俭示康》，教育儿子司马康要勤俭节约，成为美谈。从某种意义上说，节流（俭）和开源（勤）都是推动社会进步所必需的。勤俭作为一种品格，一种精神的意义就在这里。