孟浩然、王迥在昔日庞德公栖卧的石床上坐下来，二人对庞德公当年从襄阳岘山来到鹿门山隐居之事，各抒己见，相互探讨，意犹未尽，就已日斜西山。二人自鹿门山怅然而下，由于孟浩然执意要赶回襄阳，王迥留他不住，只好把他送到山外泊船的渡头上，二人约日再会，依依惜别。
孟浩然划着小船沿着小溪，进入汉江。夕阳向晚，天边落霞洒在波澜起伏的江面上，宽阔的汉江金波粼粼。他不时地回过头来，看见远处的鹿门山渐渐地模糊在了一片如烟如梦的暮色里。
孟浩然情思激荡，油然吟诗一首，感物抒怀：
登鹿门山怀古
清晓因兴来，乘流越江岘。
沙禽近方识，浦树遥莫辨。
渐到鹿门山，山明翠微浅。
岩潭多屈曲，舟楫屡回转。
昔闻庞德公，采药遂不返。
金涧养芝术，石床卧苔藓。
纷吾感耆旧，结缆事攀践。
隐迹今尚存，高风邈已远。
白云何时去，丹桂空偃蹇。
探讨意未穷，回舻夕阳晚。
从鹿门山归来，孟浩然的心情反而变得平静了许多。
过去，他曾胸怀一腔报国之志，意欲步入仕途，好去匡正社稷，施惠万民。可是，当今皇上昏庸，就算张柬之这样为朝廷披肝沥胆、为国家舍生忘死的贤良忠臣，到头来还不是被贬居一隅，最后落得连在家乡养老都不被允许吗？
孔子曰：“天下有道则见，无道则隐。”
当今昏庸之世，与其入仕混迹官场，还不如就像东汉的庞德公那样，用蔽日林荫做盖，以石壁苔藓为毯，日日和清泉流水做伴，天天与山鸟虫蛇为邻，到鹿门山做个清静无为的隐士去。
这样的想法在孟浩然的心里一经形成，过去曾经想要入仕为官的目标，便开始动摇而变得可有可无，进而没有了必须拔得襄州府试头筹的预期和重压，孟浩然的心情自然也就变得轻松平和了起来。
时间转眼到了七月，眼看着离襄州府试的时间只有一个多月了。就在这时，又一件让人意想不到的事情发生了。
唐中宗神龙二年（706）七月，随着朝廷即将从洛阳西迁长安，韦后、武三思为了将匡复李唐的勋臣张柬之、敬晖、桓彦范等五人斩草除根，不留后患，武三思秘密派人将写有武三思与韦后通奸、要将皇后废黜的榜文，秘密张贴到市井繁华的洛阳天津桥一带。然后，他们与御史大夫李承嘉秘密串通，诬陷说是张柬之、敬晖、桓彦范等五人使人所为。李承嘉在皇上李显面前，请求将此五人杀头治罪。
中宗李显虽然头脑昏庸，不辨忠奸，但是，他终因念及张柬之等五人匡复李唐，功盖社稷，并且曾经赐予他们铁券不死，所以，没有同意对张柬之等五人施与极刑，但是，却将他们五人定罪流放。张柬之及其家里年十六岁以上的子弟，被皇上李显下旨，流放泷州（今广东省罗定市）。
张柬之自从五月离开家乡襄阳来到新州之后，每日都在新州的家里深居简出，他把官任上的事情几乎全部交给了下属们去做，自己毕竟已经是八十二岁的人了，那些抛头露面的事情应该交给年轻人去做。
张柬之在家里也没闲着，他把自己以前写的文章札记和诗歌曲赋，按照时间先后或类别顺序进行整理，一共编了十卷。他打算让人刻版翻印，连书的名字都想好了，就叫做《张柬之文集》，他想在自己死后，能给后人留下点儿东西，同时，他也想让后人了解他张柬之曾经走过了怎样的心路历程。
然而，七月里腥风骤来。
时年已经八十二岁的张柬之被戴上沉重的枷锁，押入了牢狱。第二天，他就被当作犯人从新州押往泷州，和他一起被押解的，还有他一家老小十余口。
已是迟暮之年的张柬之戴着枷锁，每日翻山越岭步行几十里，加上岭南瘴气湿重，酷热难当，张柬之再也撑不住了，他一头栽倒在与家乡襄阳远隔千里的黄尘古道上。
匡复李唐的一代名相张柬之，带着深深的遗憾，永远地闭上了双眼，躺倒在荒郊野外的黄尘古道上，终年八十二岁。
天星陨落，九州同悲。
张柬之冤死在流放泷州途中的消息，在一个多月后，传回到他的家乡襄阳，襄州襄阳人民沉浸在巨大的悲痛之中。无数的襄阳民众汇聚到襄阳城内，他们为蒙冤而死的张柬之烧纸叩头，当街上香。襄阳城内，一片悲咽。
离九月里的州府考试越来越近，眼看着就只有不到半个月的时间了。这时，却传来了张柬之冤死在岭南古道边的消息。
难道这样的朝廷，就是孟浩然想要效忠的朝廷吗？
在他的理想中，朝廷应该政治清明，为天下的百姓共谋福祉。然而，面对韦后、武三思这群奸佞小人把持的朝廷，忠义秉正之臣蒙受冤狱，趋炎附势之徒青云直上。对于这样一个唯权力马首是瞻的一片混乱的朝政，善于投机钻营者，必然大行其道。如此一来，有谁还会去考虑社会融洽、百姓生死？
孟浩然在心里，对国家，对朝政，感到深深的愤怒和失望。
这段时间以来，孟浩然本来已经为即将参加的襄州府试，做好了准备。并且他知道，凭着自己才学，如果参加这次襄州府试，自己就能够去参加朝廷的进士科举，但是，他觉得这样的考试对他来说，已经没有什么意义了。
诚然，对于自己来说，选择罢试，就是在选择去走一段命运多舛的苦旅。然而，个人的命运算得了什么？为了国家的政治清明，必须得有人挺身而出，敢于和那些奸佞之徒去进行抗争。哪怕自己的力量在强大的邪恶势力面前微不足道，但是，只要还有人心怀大义，就能让那些邪恶势力胆战心惊。孟浩然要用自己的罢试之举，来表达对国家朝政的愤怒和不满。
孟浩然没有想到，父亲听说自己想要罢试的消息，竟然会气得大发雷霆。在父亲看来，孟浩然县试高第，孟姓一族的老老少少，哪个不是盼着他能考举人、中进士，从而为孟姓一族光耀门楣？偏在这个时候，他却提出要罢试，他这样做，会让孟家的所有族人都感到难以接受。
随着年事渐长，过了不惑之年的孟老爷，已经没有了当年愤世嫉俗的满腔激情，在他心里，他只是盼着已经夺得县试高第的儿子，能够科举及第，为孟姓一族光耀门楣。因为在孟老爷眼里，就凭儿子浩然的才学，他府试高第没有任何问题，只要往前再走一步，一旦进士及第，就会前路光明，一片坦途，他从心底里不希望儿子浩然就此放弃这样一个大好的机会。当然，做母亲的孟夫人和做弟弟的孟洗然，他们想的也和孟老爷大致一样。
孟浩然做出的罢试决定，首先就面临着来自全家人的巨大阻力。
在孟浩然的眼里，生，我所欲也；义，我所欲也。二者不可兼得，舍生而取义也。张柬之蒙冤而死，身为襄阳学子，岂能敛声静气，麻木不仁？他觉得自己不事科举对朝廷进行抗议，这是大义之举，他认为他没有错。他甚至觉得，父亲肯定会对他的如此义举表示支持。然而，他没想到，他的罢试之举，竟然遭到了全家人的反对。
在孟家人眼里，即使张柬之丞相蒙受冤狱，就不要说你一个襄阳的学子不参加考试，就是全襄州的学子都不参加科举考试，那朝廷就会为张柬之雪冤平反吗？如果不能如此，那选择罢试，岂不是白白地放弃了自己的仕途？
对于家人读书就是为了求仕的观点，孟浩然在心里一点儿都不认同。
孔子曰：“君子之于天下，无适也，无莫也，义之与比。”孟浩然觉得，读书做人，首先当以义字为先。在古人看来，读书是用来修正人们的品德，陶冶人们的性情，引领人们的思想的。孔子身为万世师表而辞官不仕，庞德公具满腹之才而拒刘表之请。子曰：“邦有道，则仕；邦无道，可卷而怀之。”张柬之心系万民，却蒙冤而死，自己身为襄阳学子，岂能充耳不闻，寂寂无声？孟子曰：“大丈夫有所为，有所不为。”自己文不为仕，非为空庸无志。只因当今朝廷，奸佞当道，自己就是中了进士，还不是要为权奸谋事？与其同流合污，倒不如洁身自好。
孟浩然自幼受到儒家思想的影响，视大义如性命，秉性耿直，遇有不平之事，敢于仗义执言。对于罢试之举，即使遇到了父母家人的强烈反对，他也丝毫不愿妥协退让。
正是由于浩然在罢试之事上，与父母间产生的巨大矛盾，让他与自己的家庭开始产生了裂痕，这也形成了他日后隐居鹿门的思想前奏。
孟浩然的罢试之举，在襄阳引起了很大的轰动。
襄州刺史韩思复闻知孟浩然意欲罢试的消息，不禁心生忐忑。
韩思复，字绍出，生于唐高宗永徽三年（652），京兆长安人。韩思复年少丧父，少年早成，举秀才高第，袭祖封为官。做梁州仓曹参军时，遇梁州大旱，他不顾州府刺史的斥责，毅然开仓放粮，赈济灾民。转迁汴州司户时，宽厚仁恕，议废鞭罚，深得民众拥护。后来迁任礼部郎中，因其为驸马都尉王同皎所荐，深为韦后、武三思嫉恨，贬为始州长史，随之迁任滁州刺史。滁州产铜，在滁州的一年多时间里，韩思复不断想办法帮民众改进挖铜炼铜的方法，不仅节省了大量的民力，而且还增加了民众的收益，从而深得滁州人民拥戴。六月里，张柬之自襄州刺史贬任新州司马之后，韩思复方从滁州刺史迁任襄州刺史。
韩思复离开滁州时，滁州城内万人空巷，人们纷纷赶来为他送行，当时的情景把韩思复感动得热泪盈眶。
对于张柬之的不幸辞世，韩思复的心里同样万分悲痛。所以，对于孟浩然的罢试之举，他不仅对孟浩然的人格品性感到钦佩，而且也对张柬之的死并没有在襄阳沉寂无声感到欣慰。
对于孟浩然这样一个品学兼优的才子，难道真的能够让他不事科举？如果像孟浩然这样的英华才俊，在自己的治下不被识拔，虽为自己之惑，却为国家之失啊！韩思复的心里，一片沉重。
贾弁是四月襄阳县试的主考，孟浩然也是经过他的手，选拔出来参加襄州府试的优秀学子。现在，参加襄州府试的时间迫在眉睫，想要劝孟浩然参加今年的襄州府试，只有贾弁是最合适的人选。
韩思复的想法与贾弁的想法不谋而合。
在襄阳主簿贾弁的眼里，孟浩然是自己在县试中选拔出来的学子，他当然希望他能在科举仕途上走得更远，他觉得就凭孟浩然的学识，不要说州府考试，就是朝廷的进士科举，孟浩然考中个进士，几乎不会有什么问题。然而，现在却传出了他要罢试的消息，这让贾弁觉得既痛心，又惋惜。
九月九日重阳节，按照惯例，县府衙门要休沐放假一天。重阳节又有登高赏菊的习俗，而孟浩然的家，就在岘山脚下。这对劝试来说，真可谓是个天赐良机。
重阳节这天，贾弁叫上几个县府同僚，以到岘山登高的名义，前往涧南园。他此行的目的，就是要劝孟浩然放弃罢试的决定，把握好机会，前往洛阳去为襄阳、为襄州争得荣誉。
襄阳主簿贾弁屈尊枉驾前来，顿时让孟家觉得蓬荜生辉，于是，孟老爷摆上丰盛的酒宴，对贾弁一行进行盛情接待。
孟老爷专门拿出为重阳节酿制的菊花酒，与众人举杯相邀，酒宴上，由于孟浩然和贾弁各怀心事，不知不觉间，他们就都多喝了不少酒。吃过酒饭之后，贾弁邀孟浩然和他们一起登山，因为酒宴上只是喝酒，他还没有和浩然谈及自己此行的正事。
孟浩然带着贾弁一行人，往孟家屋后的岘山上攀去。
一路之上，贾弁和浩然谈了很多，他一再劝他不要轻易放弃迫在眉睫的州府考试。贾弁觉得，浩然闭门十年，潜心致学，如今诗书满腹，正当为心向洛阳之才，不能就此半途而废。贾弁用孟浩然和西汉的贾谊作比，他觉得孟浩然就像西汉的贾谊一样才华横溢，心忧国事，看淡自己的生死荣辱，这是好事。但是，他更希望孟浩然能和贾谊一样，向世人展示自己经邦济世的才华，而参加科举考试，是眼下能够如此的唯一途径。
面对贾弁的谆谆相劝，孟浩然向贾弁坦言自己的想法。他认为自己闭门读书十年，只为明志，非为求仕。他觉得当今无道之世，奸佞横行，国风淫靡，已经让他屈心抑志，心灰意冷。他决意罢试，非为一时冲动之举。面对云诡波谲的国家朝政，他觉得，大唐王朝前行的方向，一片迷茫。
孟浩然最终没有接受襄阳主簿贾弁的劝言，去参加九月的襄州府试。他的大义之举，很快就在整个襄州声名远扬，但是，由此也让他背负上了文不为仕的才名，这对他后来的人生，产生了很多有时积极、有时消极的心理影响，从而让他的思想和理想变得摇摆不定。
如此一来，原本在他心中根深蒂固的儒家思想，渐渐有了与佛家的遁世思想和道家顺乎自然的朴素唯物主义思想，开始进行慢慢融合的可能。