更有御史，搬出了神话小说《西游记》来作论据了。说当年孙悟空大闹天富之时，打倒了玉皇大帝的一瓶墨水，结果普天之下降了三十三天黑雨，连续三十三天的倾盆大黑雨，还不是灾难么？绘声绘色的，好像当年孙悟空大闹天宫之时，这位御史大人在场参与了一般。因为朝中大臣的反对，修筑铁路之事，自然束之高阁。
却说郭嵩焘，听了这些达官贵人的无稽之谈，真是哭笑不得。虽说他终因洋务之说而得罪朝廷被丢官，却是始终不悔，“区区一时之毁誉，其犹飘风，须臾变灭，良亦无足计耳”。
回到故里，一方面讲学于省城书院，一方面却继续宣传他的洋务思想：
“窃论富强者，秦汉以来治平之盛轨，常数百年一见，其缘由政教修明，风俗纯厚，百姓家给人足，乐于趋公，以成国家磐固之基，而后富强可言也。施行本末，俱有次第，然不待取法西洋，而端本足民，则西洋与中国同也。国于天地，必有与立，亦岂有百姓困穷，而国家自求强富之理？今言富强者，一视为国家本计，与百姓无与。抑不知西洋之富专在民，不在国家也。”
郭嵩焘贬官家居十年后，被再度起用，做了钦差大臣、驻法公使，官职虽升了，然而在朝中的声誉却是每况愈下，尽管他的出任公使一职，乃朝廷钦点，亦是沐浴圣恩，然而在其亲友和朝中权贵看来，却好像并不是皇恩浩荡，而是朝廷钦点的一个“鬼子”，一个“瘟神”似的。首先是亲友的规劝，让其拒旨，甚至帮其出主意想办法，要他作了辞呈，请求终制，以回籍养老。
且说湖南的乡亲士民，听了郭嵩焘被光绪皇帝钦点了“鬼子”，有些想不通，当年驰骋沙场、运筹帷幄、决胜于千里之外的郭嵩焘，此刻就成了一个红头发蓝眼睛的“鬼子”了。
消息传到湖南之时，正值湖南乡试，三湘学子数千之众，云集省城。这时宁乡绅士一个唤做崔暕的，邀了几个学生，制作了一些传单，讹言洋人将至湖南，郭侍郎嵩焘，被皇上钦点成了“鬼子”、“洋人”，将使英吉利。
这崔暕，实乃湖南反对洋教最力者，他早年就读于岳麓书院，参加乡试，中了举人后，数次参加会试，却终是败北，京师败北以后，无意功名，于家开馆授徒，教授程朱、孔孟之学。
再说西洋之国用坚船利炮打开中国大门以后，首先是向中国输入了鸦片，林则徐虎门销烟以后，这输入鸦片的方案，看来难以收到预期的效果，乃改变了战略，改鸦片的输入为宗教的输入。是时中国内地教堂林立，这些传教士在中国的国土上，肆意说教，大有要把中国传统的孔孟之学挤出国门的势头。所以国内到处发生烧毁洋人教堂案。早在曾国藩作直隶总督之时，曾国藩尽管倾心洋务，但对有如洪水猛兽的“欧风美雨”也不得不心抱悲伤，于是作“劝学篇示直隶士子”，将为学之术概括为“义理、考据、辞章、经济”，苦口婆心，劝告士子，在热心西学的同时，不要忘了祖宗的传统——孔孟儒学。然而，当天津士民一把大火烧了天津教堂之后，曾国藩却终是“曲全邻好”，表现出十足的奴才气息，为了讨好法国，竟不惜以国人的鲜血做了代价。曾国藩的所作所为，自然激起了国人的愤怒，特别是湖南人，不管你是一等毅勇侯也好，直隶总督也罢，很不客气地砸了曾国藩题写在京城湖南会馆的匾额，甚至声言要开除他出同乡会。数十年后，崔暕还一直谩骂，以曾国藩的所为编了故事，讲给他的学生听呢！
崔暕听到郭嵩焘将出使西洋的消息后，趁了乡试的机会，邀了几个学子，印制了一些传单，讹言洋人将至，圣教难保，甚至讹言，中国将废孔孟圣教了，科举不久也将废止，会试同样不会再举行，而是要学洋人，兴西学，崇洋教了。崔暕的这些言论，自然激起了这些举子们的愤激，尽管这些举子尚未成为真正的举人，以后是否能中进士，尚未可知，但要废除孔孟圣教，岂不是对他们的一种侮辱，也就哗然。他们找不到其他别的理由，却把所有的愤怒发泄到郭嵩焘的头上，自从郭嵩焘被钦点“鬼子”、“洋人”以后，没有谁将他当作英雄了。
郭嵩焘因为宣传洋务，鼓吹改革政教，主张兴修铁路而得罪朝廷及朝中权贵，因此遭贬，家居近十年。其时长沙城中心旧藩王府西常平仓后有一古刹，唤做上林寺，75唐朝时始建，经历了千百年后，已是破烂不堪，住持僧西枝，f5郭嵩焘好友，郭嵩焘家居之时常与西枝游，见古刹破烂，郭嵩焘牵了头，邀集了数十同窗好友，捐集了数百两银子，对上林寺进行了修复。这些应考的举子，本想整郭嵩焘，迫使郭嵩焘放弃出使，但苦于找不到借口。这西枝和尚见崔暕煽起学子，大肆侮辱谩骂好友郭嵩焘，有些愤怒，于是撒布了一些不满的言论，讲这些学子“苍蝇不怪却怪蛆。郭嵩焘的出使，又不是郭嵩焘自己要求的，却是朝廷钦点的。”西枝本乃出家之人，已是跳出三界外，不在五行中了，却偏偏出来主持公道，岂有不激怒学子之理了，他们把对郭嵩焘的愤怒一股脑儿全迁到西枝的头上，大骂西枝乃郭嵩焘的走狗，于是一把大火，将上林寺点燃，而且围堵不准市民救火，把上林寺烧了个罄尽。
见寺庙着火，西枝叫天不应叫地不灵，只好弃了一切，只身往郭嵩焘在长沙的住宅逃去，这岂不给这些学子找了绝妙的借口。这西枝虽是一介高僧，却实在是少了个心眼，他根本不清楚，自己往郭宅逃去，却是犯了个极大的错误。他不清楚，这些学子纵火烧寺，真正的目的是什么呀？仅仅是因为他西枝替郭嵩焘说了几句公道话么？非也，他们烧上林寺，本身就是因为上林寺乃郭嵩焘捐资所建，他们真正的目标不是西枝，是郭嵩焘。这两枝往郭宅一逃，这些士子就以追捕西枝为借口，把个郭宅围了个铁桶似的。有些士子冲进郭宅，将郭宅的书籍器物毁坏。郭宅遭此大劫，仅遗一座空房。这座房子，本来是要化为灰烬的，只是害怕祸及其他民居而不好收拾，也就作罢。
湖南巡抚王闽运，接到学子火烧上林寺劫毁郭宅的报告，竟是睁一只眼，闭一只眼的。虽然像模像样派了些兵勇，名为镇压，实在却在暗地里鼓动，带了崔暕以及几个学子回到巡抚衙门，却并没有一点处罚，而是以礼相待，甚至称他们为“护教精英”，因为于闽运的明压暗助，滋长了湖湘士子的反教信心，所以不久，又相继发生了由周汉所发起的反洋教案、烧毁洋人教堂案、临湘教案，几乎把洋人吓得屁滚尿流而震惊全国，这是后话，暂按下不表。
却说郭嵩焘在京，接到湖南火烧上林寺砸劫郭宅的报告，心情不禁为之一沉，联想到自受命以来朝臣对他的态度，感到十分悲哀：“郭侍郎文章学问，世之凤麟，此次出山，真为可惜！
行百里者半九十，不能不为之叹息也！”
京城和湖南几乎没有区别，只是湖南，毕竟只是一些士子，其素质比起京城的那些达官权贵来略逊一筹，所以言行自然过激而少节制。京城的达官贵人，甚至郭嵩焘的契友，遇见了郭嵩焘也像逃避瘟神一样，更是有人撰联，深更半夜张贴于其京城的住宅，联云：“出乎其类，拔乎其萃，不容于尧舜之世；未能事人，焉能事鬼，何必去父母之邦？”