孔子在外交上打了胜仗之后，转而在国内继续施展他的抱负。
当时周朝为了防范诸侯日后造反难以平定，曾立下一个规矩：贵族诸侯的城墙不得超过18尺。但此时三桓掌控鲁国大势，根本不理会这个规矩。
孔子想要削弱贵族的势力，建立中央集权，以免再出现昭公出奔的旧事。于是他联手鲁定公开始实行“隳三都”的行动，也就是推掉三桓封地城墙多出18尺的部分。
当时季孙氏的城堡在费邑（今山东省临沂县西北），叔孙氏的城堡在邱邑（今山东省东平县东），孟孙氏的城堡在成邑（今山东省宁阳县东北）。
孔子的这项主张，首先得到了季孙氏的响应。因为费邑的地方行政长官叫公山不狃，他曾与阳货交好，阳货兵败逃亡齐国之后，他借着费邑坚固的城墙和季桓子对抗。季桓子想趁此机会把公山不狃赶走。
孔子派子路去执行这个任务。公山不狃顽强抗命，后来被左右司马率兵击败，被迫逃亡。费邑的城墙得以顺利被拆除。
接着，叔孙氏主动将邱邑的城墙拆掉了。
最后轮到孟孙氏，却遭到了拒绝。他的理由是，成邑靠近齐国，假如没有坚固的城墙，根本无法自保。
孔子认为，保卫疆土是政府的责任，不需要各大夫自拥军队，自建城堡。孟孙氏坚决不受，孔子于是奏请定公派军队强制执行，但却屡攻不下，双方陷入僵持。
孔子觉得长此以往，实非国家之福，何况“隳三都”的计划已完成了三分之二，也就暂时搁置了孟孙氏城墙的问题。
“隳三都”的行动虽然没有完全成功，但在一定程度上削弱了三桓的势力，同时也使孔子和三桓成了敌人。
孔子日后不得不中断仕途和救国理想，被迫与弟子们周游列国，与这件事情有很大关系。
第章18决定离鲁
鲁国政治日渐清明，社会安定，内政外交都取得了很大成功，正一天天步上富强之途。此时最为惶恐不安的是齐国，必须要想办法阻断鲁国的富强之路，否则以后一定难逃被吞并的命运。
夹谷会盟后不久，宰相晏婴病逝。黎鉏重新获得齐景公的宠信，他建议用美人计离间孔子和鲁定公。
黎鉏说：“爱好女色，乃人之本性，尤其是处于升平之世，多半会耽于逸乐。我们不妨挑选一些冶艳善舞的美女和良驹骏马送到鲁国去。鲁君和季桓子都是壮年人，不可能不动心的。只要他们接受下来，就会疏远孔丘；即使一时没有疏远他，他也会直言诤谏，到头来，必定会惹火定公。孔丘被斥责事小，说不定还会获罪。在这种情况下，他还能再留恋下去吗？”
景公听了黎鉏这条计策，大为激赏，深以为妙，吩咐他即刻去办理，越快越好。于是，没过多久，80位年轻貌美、能歌善舞的女子，以及120匹披挂耀眼装饰的良驹被送往鲁国。
这一行人暂时停歇在鲁国都城外，还不敢贸然进城，而是先派人进谒季桓子。季桓子还有所顾忌，暂且微服前往察看。不看则已，一看之下，不由得怦然心动。鲁国一向崇尚朴实，几时见过这等奢华的场面。那些衣饰华丽、美艳绝伦的女子和雄骏健壮的良驹真是晃花了他的眼睛。季桓子赶忙回去报告鲁定公。
定公也很想亲自去看看，可是直接前往实在有损明君声誉。季桓子揣摩着鲁君的心思，建议他以视察民情为借口。定公自然十分赞同，立即下令备车前往。一见之下，定公顿时心乱神迷，魂销魄荡，当场吩咐季桓子一一点收，并马上修书向景公致谢。
定公回宫以后，将美女和骏马分了一部分赐给季桓子。从此君臣两人沉迷于声色犬马，渐渐地在政事方面也就懈怠了。
孔子多次求见，都遭拒绝。子路认为国家已经没有前途，心中非常失望，劝孔子辞去官职离开鲁国。
孔子并不是贪恋官位，而是一切以国家为重，尚未完全看不到希望以前，决不能先放弃自己的责任。
他安慰子路说：“事情还没到绝望的地步，国君和季桓子都是年轻人，一时沉溺于声色之中，也是可以理解的，他们很快就会醒悟的。过几天就要举行郊祭大典了，依照惯例，郊祭以后，一定要分胙肉给各位大臣。如果到时候国君亲自主持祭祀仪式，并且分赠胙肉给我们的话，就表示他并没有忘记重大的祭典，也没有忘记对我们表示尊敬和倚重。国家的前途仍有可为，你先不要太悲观。”
可是，到了祭祀这一天，定公和季桓子正陶醉在温柔乡里，乐不思蜀，早已经把祭祀一事忘得干干净净。仅仅由神职人员走了一遍形式，就草草结束，也没有遵循旧例分赐胙肉。
这下子，孔子可真失望了。所以当子路等一批弟子再度请求他离开鲁国时，孔子黯然点头答应了。
其实，孔子的内心是十分凄楚的，他怎么会愿意离开自己的家乡漂泊在外呢。他一心想依靠自己的学识和才能，把鲁国治理得富强康乐，但事与愿违，真是令他痛心疾首，无奈之至。
子路和冉有当时都是季孙氏的家臣，孔子辞官后，他们也一个个跟着弃官出走。于官位，他们一向视如敝履，倒不如一辈子追随孔子左右。
于是，孔子率领一班高足弟子，以流动的讲学团体，又像是有理想、有抱负的政治团体的姿态，开始了长达14年周游列国的生涯。
这时是公元前497年，孔子已经55岁。