宪宗听说，顿时大怒，说道：“吴元庆，你这到底是夸朕还是在骂朕？你既说朕是明君圣主，却又说朕近小人远贤臣，那么朕又成了昏庸之主了？”
吴元庆朗声道：“不敢。明主与昏君，其间分界本就只在一线之间，本朝玄宗皇帝，前期乃是千古明君，国家社稷安定，民富兵强，后期却造成安史之乱，国家混乱衰弱，人民困不聊生，便是最好的例子。”
宪宗怒极反笑，说道：“好，那你说说，玄宗之政，为何先理而后乱？”
吴元庆道：“玄宗用姚崇、宋璟、卢怀慎、苏、韩休、张九龄则理，用宇文融、李林甫、杨国忠则乱。故用人得失，所系非轻。人皆以天宝十四年安禄山反为乱之始，臣独以为开元二十四年罢张九龄相，专任李林甫，才是理乱之所分处。愿陛下以开元初为法，以天宝末为戒，乃社稷无疆之福！”
宪宗道：“那你说我现在是在任用张九龄呢还是在任用李林甫？”
吴元庆见皇上脸上阴沉之色一晃而过，知道他已然怒极，但仍说道：“皇上任用裴大人、崔大人这等重臣，是任用张九龄，但皇上同时又任用皇甫镈、程异之徒，却又是任用李林甫、杨国忠了。”
李纯忽然拍案而起，喝道：“大胆吴元庆，你是说朕也要似玄宗一般，由圣明而变昏庸了吗？”
吴元庆脸不变色，说道：“微臣不敢，微臣乃是进谏，希望陛下以玄宗前车为鉴。”
李纯一把掀掉了身前几案，几上茶水、碗碟飞落一地，咣咣啷啷响过不停，众臣只惊得魂飞魄散。只见李纯脸上变色，喝道：“朕若昏庸，只因朕不该用你这样的臣子，你且说说，你是张九龄呢还是李林甫？”
吴元庆道：“臣不过是个山野匹夫，得皇上青眼，其实不过尸位素餐而已。好不敢比张九龄，坏亦不敢比李林甫！请皇上容臣辞官归隐。”
李纯大怒道：“吴元庆，你这是跟朕赌气么？朕若不容你辞呢？”
吴元庆道：“臣心意已决，请皇上成全。”
裴度见宪宗脸上戾色越来越重，知道吴元庆转眼之间便有杀身之祸，忙道：“皇上，今天乃是贺庆太平的好日子，还请皇上息怒。”
李纯怒道：“太平，太平，你们让朕太平了吗？吴元庆，朕数次饶你，你真以为朕就杀不得你吗？”
吴元庆不语，李纯见了，更是恼怒。
裴度道：“皇上，吴元庆生就这样的性格，但他武功高强，富于谋略，实是国家的栋材，平淮西，定吐番，屡建奇功，就连这次平定淄青，他的功劳也是最大。”
李纯怒道：“胡说八道！这次平定淄青，朕根本就没派他去，他的功劳又从何处建来？你为了救他，竟撒这弥天大谎，裴度，你可知此乃欺君大罪？”
吴元庆见往日宪宗总是叫裴度为裴爱卿，此时直呼其名，显然连裴度也恼上了。
裴度道：“皇上，臣并不敢欺君，陛下知道为什么刘悟会反戈一击吗？此正是吴元庆的功劳。”遂详细述说了吴元庆怎样刺杀李师道，怎样架祸给刘悟，又怎样扇动刘悟造反，宪宗李纯听了，不禁怔住，但只是一瞬间之事，他忽然冷笑道：“哼，这正是他自行其事、目无君长的写照，谁叫他去淄青了？堂堂朝廷将军，岂能擅自主张，私自行动？”
吴元庆心中冷笑，心想古来帝王便是如此，鸟尽弓藏，兔死狗烹，又还有什么好说的？他倒要看看，李纯到底给他安个什么罪名。所以只冷冷的看着这一切，并不说话。
裴度却忍不住了，说道：“皇上，这样说吴元庆似乎不太公平，不管如何，他都是立了大功，有功于国，有功于民。”
李纯冷笑道：“有功就怎么了？有功就可以屡次抗旨，把朕都不放在眼里吗？古来帝皇，谁没有几个立有大功的臣子？若是他立有郭子仪那般大的功劳却又如何？就是朕的臣子中也未必他立的功劳就最大，你裴度、李愬、李光颜、田弘正谁又没有立大功？若谁都似他一般不把朕放在眼里，朕这皇上还当不当？”
裴度见这话不像，忙一把跪下，说道：“皇上。”
崔群见吴元庆为了自己惹得皇上震怒，也忙跪下，说道：“陛下……”
李纯不等他说话，怒道：“不用再说了。你们自恃功劳，一个个不把朕放在眼里，哼哼，朕今日也不与你们计较，放心，朕并不是随便杀人的昏君！传旨：门下侍郞、同平章事裴度，中书侍郎、同平章事崔群，左金吾卫大将军吴元庆三人，朋比为党，为猎取正直之名，不惜彰君父之过，此种臣子，若不加责罚，朝廷法令何在？着即令裴度为河东节度使，仍充门下侍郎、同平章事衔；崔群贬为湖南观察使，即日赴任；吴元庆免去左金吾卫将军衔，贬为庶人，不许随便出京。钦此。”
众臣面面相觑，想不到皇上竟会如此震怒，处罚如此之重，裴度一时尚有些措手不及。吴元庆的处罚虽然最重，但他却似乎全然无所谓。其实心中的愤怒也是无以言宣，他并不在乎什么官衔，也不在乎什么庶人不庶人的，只是心中一股气不平，好不容易才克制住了心中的怒火，让脸上看来，就好似什么事也没发生一样。
三人磕头谢恩毕，宴席也即散场，一场喜庆便如此烟消云散。
吴元庆回到家，林洁远远的接了出来，只见府门口许多身份不明的人在那游戈，林洁道：“不知为什么，今天忽然来了这些人，倒好似在监视咱们似的。”
吴元庆心中冷笑，心想你不许我走，我偏要走，就凭这些脓胞就能监视得住我了？只是想着自己为朝廷南征北战，没有功劳也有苦劳，不但没有升官封侯，却落得像贼一般，连自由都没有，岂不滑稽？心中愤怒，但想一想，气也就平了，古来帝王便是如此，只可共患难，不能同欢乐，古之英雄名将尚且如此，自己又算得了什么？但自己决不做那愚忠愚孝的蠢人，选个时机，一走了之，从此书剑飘零，啸傲江湖，岂不快哉？
两人回到家，便去拜见父母，吴元庆把朝中发生的事说了，吴夫人道：“俗话说伴君如伴虎，孩儿，咱们并不贪图什么富贵，不做官更好。”
林回风道：“不错，我在这住得早就不耐烦了，既是如此，咱们就一走了之。仍回咱们的桃花源去，那里可不快乐多了？”
林洁道：“现在只怕要走也不容易了。”
林回风道：“区区几个监视算得了什么？咱们冲出去便了。”
吴元庆沉吟道：“要走也不急在一时，咱们先作好准备，等时机成熟再走不迟。”
正说着话，便有恩王府来人相请吴元庆，吴元庆诧异道：“恩王请我去干什么？”心想已经很久没有与恩王见面了。
来到恩王府中，吴元庆又想起李红英来，心中深觉愧疚，恩王李晌在书房中接见他，见面便笑道：“吴将军，你飞黄腾达了之后，怎么就绝足不到本王府中来了？难道恩王府是什么险地禁区吗？”
吴元庆道：“王爷这话让小子怎么禁受得起？小子不过一山野匹夫，王爷错爱，其实不敢当。不知王爷召在下来，有什么事吗？”
李晌笑道：“你我自己人，久不相见，不过叫你来叙叙旧而已。李愬如今在军中，元庆什么时候见过他了？”他改口叫元庆，果然便似自己人般亲切。
吴元庆道：“我也好久没见到李大哥了，他在军中，轻易也不上京来。”
李晌点点头，又不着边际的问这问那，眼看时间已经到了深夜，忽然走进两个人来，吴元庆抬头一望，吃了一惊，见这二人一个是权顷天下的宦官、神策军中尉吐突承璀，一个却是当今皇上之子、澧王李恽。吴元庆心中隐隐不安，知道只怕有个极大的阴谋把自己卷了进来。