其时顾磷已做大明兵部尚书，位列七卿。顾磷接着向世宗讲了岳麓书院的历史，他讲了吴猎、赵方，讲了彭龟年、游九功、游九言的事迹，世宗听得如痴如醉。他讲了当年朱文公千里访张南轩的故事：“当是时也，二儒同坐檀席，相与论道，天下士子云集，竞把偌大的一座岳麓山呀，挤得爆满，岳麓书院后方，有一池，一亩见方，终年池水满溢，没想到，一夜之间，这满池子的水呀，竟被士子儒生所骑的马匹喝了个精光。”
顾磷讲着，却是一往情深，就好像把世宗带到了百十年前的现场一般。
“微臣巡抚湖广之时，寻旧而登，偶得一诗，亦可略见当时书院一斑也”顾磷奏毕，乃摇头晃脑，当廷背诵了他的诗作《岳麓感旧》：不到书堂二十年，浮湘迁客已华颠。
惟应岳麓崖前树，曾听哦诗曲水边。
世宗听了，先是十分的好奇，继而龙颜大悦，乃依李天植所奏，批了“照准，钦此！”
李天植得到朝廷的批准后，不久拨了库银，对书院进行了全面的整修与扩建，自己乃偶尔渡江，而登坛讲学。
李天植整修书院以后，适值当朝大儒张元忭做了钦差，“以使事”来到长沙，这张元忭乃李天植密友，亦系王守仁再传弟子，其时做侍讲，以“忠”、“孝”传名于世。张元忭出使长沙，李天植率了群僚及长沙士子学人，十里逢迎。
二儒相见，虽是有些百感交集，更是让张元忭激动得不知所云了。进入长沙，李天值殷勤款待，把酒临风，执盏洗尘，尽道别后的思念。
“这场儒法之争，老兄可是出尽风头，名扬天下矣！”酒过三巡，尽道别后思念以后，李天植不无感慨地说。“老兄‘亲民’一说，恰达圣意，真是精彩绝伦，几近阳明先生矣”。
“惭愧！惭愧！李兄太抬举张某了，张某之学，岂敢与阳明先师相比耶！”
“老兄大儒也，又深蒙皇上器重，此乃老兄之幸矣？”李天植不无羡慕地说。
“非也，李兄所言差矣？圣上重孝尊儒，实乃天下儒生之幸也，岂乃张某一人之幸哉？”
张元忭说毕却不禁大笑起来，李天值听了自觉所说有些欠妥，心境终究没有张元忭开阔，于是有些尴尬，不觉有了些脸红。
“老兄所言极是，圣上重儒，乃天下儒生之幸也。”李天植补充着。
张元忭交割了公务，应了李天植之约而同登了岳麓，沿了石阶，拾级而上。听流水潺潺，闻鸟语低吟，就好像到处充满了诗情画意，充满了儒的精神。张元忭顿觉浑身像脱了壳一样，他只觉得从未有过如此的轻快，有过如此的灵性了。其时正是春季，万物复苏，百花斗妍，万紫千红，一双双的蝴蝶，遨游花丛，一声声的鸟语，婉转枝头。慢步来到书院，踏进头门，却被真宗手迹所吸引了，抬头仰瞻，一种神谧、庄穆的感觉油然而生。入山斋小坐，颇觉冥冥之中似有圣人之语。
“怪哉！”张元忭听了冥冥之中的圣人之语后，不禁惊呼起来。
“何事怪哉？”见张元忭惊呼，李天植亦跟着惊呼。
“张某入得山斋，好像听到朱文公之语，又似张南轩之声，亦觉乃阳明先生语也，李兄，岂不曾听得？”
“有朱文公，张南轩、阳明先生之语？”李天植很是吃惊的样子。
“见鬼啦，老弟我多次登临，多次入居此斋，未曾有过如此怪异，却是何语？”
“冥冥而语，终究无辨矣？”张元忭十分沮丧地说。
“莫非老兄与此有缘乎？”李天植很是费解。
下得山来，入居李府，张元忭却是夜不能寐了，岳麓书院的一切，让他激动不已，特别是山斋小坐片刻时，那冥冥之语，难道真如天植所言。“与此有缘”？他想了想，只觉周身热遍。“与此有缘”是福是祸呀？
自从向世宗进言“亲民”一说之后，张元忭可真是成了世宗的红人宠臣啦。杨廷和降职为民丢了内阁首辅，他张元忭进居内阁，岂不是水到渠成的事，光宗耀祖，封妻荫子，又岂不垂手可得？想到这些，张元忭真是有些飘飘然了。然而，他看到了杨廷和的下场，“杨廷和何许人呀？顾命大臣也，而且有拥立之功，然而毕竟如何？功高岳牧，也不过虚名一场也。”想起杨廷和，张元忭不禁又有些毛骨悚然。他清楚，执政，他是绝对没有杨廷和这样铁的手腕。“伴君如伴虎呀！”
夜深人静，他不禁长叹。
张元忭的体质本来就是极虚弱的，而且从来如此，以至未及而立却白发蒸蒸，有如耋耄老人。如此虚弱的体质，是根本忍受不了那无端的劳碌，那心力憔悴的尔虞我诈，那费尽脑汁的是是非非的呀！一个通宵的无眠，朝廷的一幕一幕，书院的一切，却像走马灯一样，在他的眼前重现。他有些莫名其妙，身居大内，天天读书研经，怎么没有过如此之想呀？入了长沙，登了书院就如此这般，难道真是所谓冥冥中自有安排乎？
一夜无眠，清早起来，却是倦意全无，他把一夜所思所想，向李天植说了，亦惊得李天植目瞪口呆，不知所云：“使不得啊，老兄，老兄乃圣上所依重臣，入阁作辅，迟早而已，而且皇命在身，老兄如来岳麓，虽书院万幸，然将朝失干臣，天下百姓失一良吏矣！”
“李5L坐镇长沙，偶尔入主山斋，或讲或读，或游或羿，枕清风而担明月，吸清泉而听松涛，无忧无虑，与世无争，真是快乐神仙也，岂不闻‘伴君如伴虎呀！’前朝有刘谨也，刘谨乃奸佞之臣，当诛，本朝杨廷和如何？‘光宗耀祖，封妻荫子’，实乃过眼云烟矣！李5L如此阻止老弟，岂不是害怕老弟分享了岳麓的静谧了？”
张元忭说毕不禁哈哈大笑起来：“古今将相今何在？荒冢一堆草没了呀！”
“非也！非也！老弟岂敢欺兄呀！老兄有如此高雅之见，实乃小弟之福也，实乃湖湘学人之福也！
小弟才疏学浅，久慕老兄高才，如此朝夕讨教，岂不是大幸哉！”
听了张元忭说出的肺腑之言，李天植真是高兴得跳了起来，他新建整修了书院，正愁书院无主呢，如今送上门来的山长，岂不正中下怀。
张元忭交割了公务，也就不再回朝，却作了一纸辞呈，呈送了世宗。
再说明世宗皇帝一日正在拟旨，而诏张元忭入阁为辅，却突接到了他的辞呈，真个吃惊不小，他将辞呈搁置一旁，并无批准之意，却召了张璁、顾磷相问：“张元忭乃朕之重臣也，而今去了趟长沙却是怪念丛生，而不回京复命，倒作起辞呈来了，朕不许也，召二位卿家来实为此事。”
世宗召了张璁、顾磷把张元忭辞职之事向二位说了，张璁听了世宗所述，一时竟惊讶得回不过神来。倒是顾磷好像事先已预知此事一般，不慌不忙地陈述了自己的看法：“张侍讲所作所为也，似是不合情理，有负陛下依重之恩，其罪责不轻也。只是人各有志也，张侍讲志在孔孟之间，无意经世之途，实为我儒之善事也，陛下应该为他高兴才是呢！再说岳麓书院百十年来，朱、张过后，少有大儒而登檀席，今张侍讲居之，适得其主矣，将来，书院多培养几个‘张侍讲’，陛下岂不大幸呀？”顾璘的一番解劝，终于化去了世宗心中的郁结。
“依顾爱卿所言，朕当依了张侍讲呀？”
“正是也，陛下。”张璁、顾磷几乎是同时作答。
世宗无奈地依了张璁、顾磷的意见，同意了张元忭的辞呈。张元忭辞了公职，却应了李天植之聘做起了岳麓书院的山长来，携了书僮，挑了简朴的行李，张元忭再一次来到了山斋。