优美的传说，配了这优美的景观，真是双璧交辉，立于峰巅，二儒真是有些流连忘返。俯视乾坤，竟是白皑皑的一片，仰望苍穹，竟是人与天齐，虽登极顶，却有清泉潺潺，尽管到处白雪覆盖却清泉依旧，可鉴天日。沿着清泉而下，入上封寺，见有胡寅所题“穹林阁”，乃驻足欣赏。胡寅乃胡国安之子，胡宏之兄也，当年作礼部侍郎，师事秦桧。秦桧召胡宏进京，胡宏潜，令胡寅作书奉劝更不从，秦桧大怒，派兵包围胡宏，不果之后乃迁怒胡寅兄弟大逆不道，欺君罔上，与胡寅反目成仇，胡寅被罢官，回到福建隐居。一次胡寅游岳麓寺，其时秦桧走狗刘旦来湘作官，胡寅听到这个消息，想起自己以前师事秦桧的一幕一幕，又想到后来反目成仇的一切，不禁大怒，便在墙上大书了“是何南海之鳄鱼，来做长沙之鹏鸟”。刘旦是秦桧的党羽，亦是唐朝韩愈作《祭鳄鱼文》的潮阳人，胡寅以此为讽，恰到妙处。
刘旦见了，气急坏败地报告秦桧。秦桧是一个小人，自然不能放过胡寅，找了个岔子来整他。胡寅也就二十年不再作官，从此过着寄情山水、穷究理微的生活。他登南岳，游了上封寺，而据韩子云“碧潭潭穹林修擢”之语，题了“穹林阁”。
见“穹林阁”这胡寅的题额，朱熹也就有了诗意，竞作了《题穹林阁》：南岳天下镇，祝融最高峰。
仰天几千仞，俯入一万重。
开辟知何年，上有释梵宫。
白日照雪屋，清霄响霜锦。
极知壤特观，仙圣情所钟。
云根有隐诀，读罢凌长风。
出了上封寺，绕道磨镜台。磨镜台的福严寺和南台寺有“天下法院”之称，亦有“六朝古刹，七祖道场”之谓。
南朝陈光大年间所建，唐代李泌题了“极高明”三字。朱熹以前也参悟释道，对于释的佛理很有了解，只是后来读了圣贤之书，见释氏漏洞百出，才完全抛弃的。在接受恩师李侗“已发未发”的观点时，他甚至对于佛的打坐产生了兴趣，认为李侗的“默坐澄心，体认天理”功夫与佛之打坐有异曲同工之妙。所以当胡实讲起磨镜台的传说，讲到打坐与不打坐之时竟引起了极大兴趣。“佛教自西方传入中国也就唤做禅宗，这禅宗到了唐代，分了南宗与北宗，南宗主张‘我心即佛’，不打坐，不念佛，不持戒；而北宗则主张打坐、念经、持戒。唐朝开元年间南宗祖师慧能禅师的弟子怀让禅师主持严福寺，乃释氏七祖，他在南岳主张‘我心即佛’，引起北宗的极力反对。北宗的道一和尚从四川千里迢迢来到南岳，在严福寺和南台寺之间结庐为庵，整天打坐念经。怀让为了说服道一，拿了一块青砖在道‘茅庵对面的一块磐石上磨来磨去，道一深感奇怪，忍不住问道：‘此为何故？’怀让同答道：‘磨了作镜’。道一说：‘磨砖岂能作镜’？怀让即回答：‘磨砖既不能成镜，打坐又岂能成佛？’接着便讲了‘顿悟’的道理，道一豁达，遂拜怀让为师，皈依了南宗。为了纪念这场辩论，于是便命名‘磨镜台’。”
听了胡实的传说，朱熹似乎突然悟到了什么，“既然磨砖不能成镜，打坐又岂能成佛”？“打坐不能成佛，默坐澄心，又岂能体认天理”？他终于释然，欣然接受了张栻的“操而存之，存而养之，养而充之，以至于大，大而不已，与天同矣”的修养观点。他至今认为有了张栻的这种方法，可以不读书，可以不多闻博观，只要默会诸心以立其本就可以了。
参观了磨镜台，游览了麻姑仙境，胡实讲了禅林的典故，却让朱熹亦同道一和尚一般茅塞顿开而彻然大悟。岳麓书院“三昼夜”的“中和”之辩没有解决的问题，而今听了一个禅林的故事却解决了，却顿悟了。朱熹确是异常兴奋，步出磨镜台，观看麻姑仙境，葱茏的古木，清秀的林竹。应了胡实之约，沿幽光的麻石山路而下，前往回雁峰和石鼓书院。
回雁峰，乃南岳七十二峰之首，却不高，比祝融矮小得多，如果把祝融峰与回雁峰相比较，回雁峰却不过是一个很小很小的山包而己，然而它却奇，奇就奇在北雁回归之时，到此就不再前飞一步，故有回雁之称。唐朝王勃在其名作《滕王阁序》中有“雁阵惊寒，声断衡阳之浦”。前朝范文正有“衡阳雁去无留意”之句，王荆公更是有“万里衡阳雁，寻堂到此回”之句。朱熹登了此山，见山并无奇处，说高么，这只不过是一个小小的山包而已，为何挡住了南飞的大雁呢，他总百思不得其解，入得山门，有“南岳第一峰”匾额，山门有“上达”二字和“莫作等闲观”碑刻。入山门，朱熹见有寺于山腰，乃趋步前往，然而大雪已覆盖了去路，本是绿树成阴，而今却晶莹如玉。寺门本来紧闭，主人闻有当今儒宗二师造访，方丈命了众僧扫雪清路，敞开寺门恭迎。远远望去寺内烛光闪烁，香烟缭绕，钟声磬音，响成一片。朱熹抬眼相望，见寺门上方大书斗大见方五字：“御造乘云寺”。朱熹有些肃然，始信山门碑刻“莫作等闲观”字并非诳语。入了寺，依礼参了佛，朱、张二儒落座，方丈献茶毕，讲了“乘云寺”的历史。当年梁武帝南巡，登了南岳，虽言祝融极高，却终非南岳七十二峰之首，其首该为回雁，又传雁到此峰却再不前行，于是很是迷信，认此峰乃藏龙卧虎之地，萧梁是极崇佛氏的，于是下了诏书，择了基址在此兴修寺庙，并赐寺名为“乘云”。自梁武以后虽经历多朝，亦有兴有废，却终究香火为继，至今不断。方丈讲了寺庙历史，同二儒相互参禅。二儒本是极颖慧的，对方丈的禅道一听就懂，但终究觉得释氏所言之道，许多地方自相矛盾，且是纰漏百出，极不相信。出了乘云寺，游览了山门殿、望岳亭、宫宝寺、老君轩、望江楼，兴致勃勃地登了石鼓山，入石鼓书院。
却说这石鼓山，面积并不太大，形状有如半岛。湘、蒸二水相汇于此，水流撞击半岛的石崖，声若鼓鸣，日夜不息，北魏旅行家郦道元南游至此，见此奇观乃登山，见山有石鼓，高约六尺，湘水所经，鼓鸣，则有兵卒之事，乃奇之，遂命此山为石鼓山。猪羊本系牲畜，然而宰了，拔毛去污作了祭品，经圣人点箸，也就成了圣物，成了人想吃却谁也不敢再动箸的圣物了。石鼓山本来就很奇，又经郦道元这么一记，就更奇了，以至北魏以后的历代名人，或游览于此，或结庐于斯。唐元和年间，衡阳籍名儒李宽见有石鼓之奇，有心于此，于是结庐山中，于此苦读，早晚弦歌不绝，伴和着湘水击拍“石鼓”之声，真是有板有眼，节奏和谐，山没有水，就像人没有眼睛，缺少灵气，有山有水而没有人，同样没有灵性。石鼓山，有了李宽的结庐吟读，顿时鲜活起来，一时境内名士趋之若鹜，或吟诗作赋，或沉思论道。其时衡州刺史齐映，此人进士出身，终生儒业为本，见李宽结庐吟读于此，附风附雅，多次前往辩道，登山临水，心旷神怡，于是于石鼓山麓兴修一亭，见湘蒸二水汇合于此，就把新修之亭名为“合江亭”。齐映修了“合江亭”后，每每约二三同事登亭临江，真是有如快活神仙。是年，大文豪韩昌黎作御史，因上书反对皇上迎请佛骨，而遭到贬斥居阳山，曾寓于此，见石鼓山“奇崛耸拔，中高而外秀，蒸、湘二水左右环前……怒石嵯峨，倒景下垂，若虎豹张牙，森欲搏，浜水三面，杂树蓊绿，四时畜鸟变声”，又闻乃汉武侯诸葛孔明督饷之处，于是诗兴勃发，应刺史齐映之约，欣然赋诗于“合江亭”。合江亭有了韩昌黎的合江诗，双璧辉映而名垂千古。
因为韩诗有“缘净不可唾”之句，后人据此意将“合江亭”改为“缘净阁”。唐亡，太祖赵匡胤黄袍加身做了皇帝，传至太宗、真宗，对儒崇尚有加，一时天下书院纷纷崛起，李宽后裔李士真，援了李宽故事向郡守提出申请，愿以自己私家财产在合江亭故址兴办书院，以为衡阳学者“会儒者讲学石鼓，开建学舍”。朝廷为此很是满意，赐额书院日：“石鼓书院”。