齐景公君臣在夹谷会盟的时候看到了孔子的谋略和外交才干，深感孔子在鲁国做高官对齐国不利。犁弥向景公建议，先想办法阻挠孔子继续执政，这个办法如行不通，再采取送地的计策。
齐国挑选了八十个妙龄美女，给她们制作了许多华贵飘逸的服装，并训练她们演练“康乐”舞。又挑选了膘肥体壮的一百二十匹骏马，作为礼物，郑重其事地连同美女一起送到鲁国。为了怕人议论，三桓没有马上举行接收仪式，先将美女和骏马在鲁都城南的高门安顿下来。
季桓子为避人耳目，打扮成普通百姓，差不多天天跑到高门观赏齐国美女的表演。受命前来赠送美女和骏马的齐国使者看在眼里，喜在心头，对季桓子说：“大夫觉得这些礼物如何？可以举行赠交仪式了吧？”季桓子连声称赞：“美极了！美极了！”接着压低声音，诡秘地说：“等我将国君拉来观赏一番，再举行也不迟。”
第二天，季桓子入宫见鲁定公，请他出城在周围地区进行一年一度的例行视察。齐国送舞女骏马之事正传得满城风雨，定公很想前去观赏一番，可又难以启齿。现在季桓子一请，定公想何不借此机会去看看呢，就痛快地答应下来。定公与季桓子一起乘车直奔高门外。已经做好准备的齐国舞女在悦耳的音乐伴奏下正翩翩起舞，定公目不转睛地看着，忘了自己的身份，也忘记了时间的早晚，眼中只有舞女的倩影，耳中只听到美妙的旋律。
一连几天，鲁君都不事朝政，连一些必办的政务也一概推掉，只沉溺于观赏美女。此事引得朝野议论纷纷。和他的弟子们心急如焚。子路明白，孔子继续留在官位上实在是难以有所作为了。孔子尽管也知道事已不可为，但仍不愿意马上离开：鲁国毕竟是自己的父母之邦，这里有自己的妻子儿女，刚刚开始的从政生涯也留下事业的辉煌，只要还有一线希望，就应该继续努力去争取。
然而，季桓子终于不顾人言，将舞女和骏马接收下来，把国家大事放在一边，连郊祭大典也草草地应付一下，没有将祭肉分送大夫。看来，季氏已经不准备让孔子继续做官了。此时，孔子认为他留在鲁国的最后一点希望也破灭了，决定离开鲁国。和弟子们商量离开鲁国后的去处，子路建议到卫国去，因为他的妻兄颜仇由正在卫国做官，可以通过颜仇由结识卫国的权要，进而晋见卫国国君，也许能在那里得到发展。孔子也认为卫国是一个可以去的地方，卫国与鲁国相邻，同为姬姓，算是兄弟之邦，平常两国的交往比较多，孔子的大名也早为卫国朝野所知晓。安排好家事，安顿好留下的弟子，便带领自愿随行的子路、子贡、颜回、冉求、宰予、高柴等学生走上了通向卫国国都帝丘(今河南濮阳南)的大路。
这时，正值夏历二月，春风已使田野披上绿装。渡过濮水，进入卫国国都的郊区，只见农田整齐，庄稼茂密，村庄点缀其间。孔子不由赞叹道：“这里的人口真稠密呀！”驾车的冉求回过头来问道：“既然人口已经多了，还应该再做些什么事呢？”孔子说：“使人民富裕起来。”冉求又问：“富裕以后再做些什么事呢？”孔子说：“教育他们。”到达卫国国都后，先住在子路妻兄颜仇由的家里。
子路、颜仇由与卫灵公的宠臣弥子瑕取得联系，希望由他引见孔子拜会卫灵公。
几天后，卫灵公召见孔子，问他在鲁国做官时有多少俸禄，孔子说是六万斛。灵公十分痛快地说：“我也给你六万斛。”孔子在卫国安顿下来，但卫灵公没有给孔子具体职务，他除了教学活动就是会会朋友。
卫国已故大夫公叔文子是一个贤人，孔子来卫国前就知道他的大名。孔子这次来到卫国，对不少人常常谈起公叔文子，并有意识地寻访他的嘉言懿行。谁知孔子的这种言行触犯了卫国的大忌。公叔文子虽然以贤智闻名，但继承其大夫之位的儿子公叔戌却不是一个安分守己的人物。他与卫灵公的夫人南子对立，密谋诛除南子党羽，事未发而被驱逐出国都。他逃到自己的采邑蒲(今河南长垣)准备发动叛乱。这事发生在孔子到卫国不久。孔子到卫国后，不仅未对公叔戌的反叛表明反对的立场，反而对他的父亲不断发出赞美之辞，而孔子的学生还与公叔戌有所接触。这一切引起了南子党羽的怀疑，于是密报卫灵公。灵公立即派公孙余假到孔子住所监视他们的行动。公孙余假进进出出，使孔子难以忍受。定公十三年(公元前497年)，孔子带着弟子们离开卫国。
这时，陈国的青年贵族公良孺拜孔子为师，带着五辆车与孔子一同离开卫都。他劝孔子到陈国去，孔子别无去处，便答应了。
一行出了卫国国都帝丘，向西南方向行进。走到匡邑(今河南长垣)时，孔子的学生颜刻无意之中说了一句话，惹出一场事端。
匡邑原是卫国的领地，后被郑国占领。鲁定公六年(公元前504年)，鲁、郑两国交战，阳货随定公率师进攻郑国，攻克了匡邑。当时颜刻是鲁军的一名士兵，亲自参加了攻克匡邑的战斗。这次颜刻随孔子出游，为孔子驾车。到匡邑时，他看到熟悉的城垣，想起当年的那场战斗，用马鞭指着一处城墙，大声对孔子及其他随行的弟子说：“我们当年进攻匡邑时，就是从这里打开缺口的！”
正巧，旁边的一个匡人听了这话，大吃一惊，仔细观看站在车上向匡邑张望的孔子，吃惊地误以为是当年率鲁军攻破匡邑的阳货。于是跑到匡邑宰匡简子那里报告。
匡简子听说仇人送上门来，立即带领兵士追捕。一再向他们说明自己的真实身份，匡人虽然没有绝对把握认定孔子就是阳货，但坚决不肯放人，并且严密监视他们。孔子及其弟子们在监禁中表现得十分坦然，特别是照常进行的教学活动，使匡人心中的疑团慢慢消除，再通过其他多种渠道进一步调查，知道眼前的这些人与阳货毫无关系，就把他们放了。师徒决定到卫国边境休整一下再决定去向。谁知经过蒲邑时，又陷入另一场风波。原来这时被卫灵公驱逐到蒲邑的公叔戌发动了叛乱。
他为了壮大声势，派人拦截孔子一行，强迫他们参加叛乱队伍。孔子尽管对公叔戌的父亲十分尊重，但对公叔戌犯上作乱的行为却深恶痛绝，因而断然拒绝。公叔戌却继续纠缠。
跟随孔子的公良孺气愤不过，率领自己的五乘之众同蒲人开战，子路和其他弟子也上阵助战。由于公良孺和子路骁勇善战，其他人也合力拼杀，公叔戌一伙人知道孔子等难以制服，就要求谈判讲和，条件是只要孔子答应不回卫都帝丘，就放他们一行离开蒲地。孔子答应了。困于匡邑时，他的一个弟子通过卫大夫宁武子的疏通返回了卫国。他在卫国为孔子的返回进行了不少活动，消除了卫灵公及其夫人南子的怀疑，他们欢迎孔子一行重返卫国。特别是孔子师徒在蒲邑同公叔戌叛乱分子战斗的消息进一步打消了卫灵公对孔子的疑忌，因此，当孔子一行回到帝丘的时候，卫灵公亲自到城外迎接。
公叔戌据蒲邑反叛之事一直使卫灵公君臣忧虑不安，由于孔子刚从蒲地回来，灵公自然想听听他的意见。他问孔子可否出兵讨伐叛乱？孔子立即给予肯定的回答，并告诉灵公，在蒲邑真正同国君作对的，只不过是公叔戌和他的几个亲信，其他人都是被胁迫的百姓，所以讨伐可以取得胜利。
卫灵公告诉孔子，他的多数臣子都不主张讨伐。因为蒲邑地处卫国西南边陲，是抵御晋、楚等国进犯的屏障。卫军前去讨伐，一场战斗必将使这座城堡遭到严重破坏，使国力消耗，徒然对他国有利。因此，尽管孔子的意见很有道理，卫灵公也一直没有派兵讨伐，只是将蒲邑监视起来，静观其变。回到卫国以后，住进卫国贤大夫遽伯玉家里，以便通过他进一步增加与卫灵公的接触，期望得到灵公的重用。又与卫灵公夫人南子的亲信弥子瑕建立了较密切的关系，希望通过他与南子见面。因为南子作为国君的夫人，对卫国的政治有着举足轻重的影响。
但是，孔子希望在卫国出仕的愿望却一直没有实现。因为孔子的名气很大，并且在鲁国做过司寇和代理执政，让孔子在卫国做官，必须给他一个相当的职务，这在卫国的宗室大臣中恐怕难以通过。所以，卫灵公有时召见孔子，就一些问题向他请教，却始终没有给他具体职务。孔子寂寞难耐，故意对别人说：“如果有人用我管理政事，一年就可以初见成效，三年便会有成就了。”这话传到卫灵公那里，但卫灵公仍然没有让他做官，孔子十分失望。
一天，卫灵公邀他出游。卫灵公与南子同乘一车，由宦官雍渠做驭手，让孔子乘坐第二辆马车。卫灵公与南子在车上肆意逗乐，故意招摇，使孔子很难为情。归来后，孔子满脸不高兴，气愤地对弟子们说：“今天的事情使我明白，很少有人能像追求美色那样追求美德呀！”他决定离开卫国。
这一年的十一月，晋国有权势的卿大夫之间发生了激烈的斗争。掌权的赵鞅率师进攻朝歌(今河南淇县)，讨伐范氏和中行氏两家大夫。战争激烈进行中，范氏、中行氏一边却祸起萧墙，他们的中牟(今河南鹤壁西)宰佛肸发动叛乱，归顺了卫国。佛肸很快向孔子发出了邀请，希望孔子到中牟协助他治理此地。打算立即应邀前往，但子路觉得不妥，劝孔子不要去。孔子终究没有到中牟。
现在，孔子到晋国去的愿望越来越强烈。晋国是举足轻重的中原大国，与齐桓公齐名的晋文公曾经创造过辉煌的霸业。孔子一直非常关心晋国的政局，眼看晋国国君大权旁落，韩、赵、魏、智伯、范氏、中行等六卿争斗不已，心中十分焦急。孔子希望到那里去，以自己的声望，特别是以“君君、臣臣、父父、子子”的“正名”理论，调和晋君和六卿的关系，缓和六卿之间的矛盾，使晋国重新恢复秩序与稳定。凭着晋国作为中原大国的地位，孔子也许可以大有作为。
终于，孔子带领子贡等人踏上了赴晋国的旅程。早晨从帝丘出发，不到一天就到达黄河东岸。当孔子登上黄河大堤，俯视自西南流向东北的黄河。他感慨万端地说：“啊！逝去的一切就像这浩浩荡荡的河水呀，不舍昼夜地一直流淌！”从西岸渡过一船人，登岸时，人群中一片喧哗。孔子连忙上前打探消息，得知晋国执政赵鞅杀害了晋国两位德高望重的贤人呜犊和窦唯。孔子惊呆了，两行老泪顺着面颊流下来。最后，孔子调转车头，沿来路返回。
由于孔子到晋国去的行动事先未征得卫灵公的同意，引起卫灵公的恼怒与不满，因为卫国已经参与了晋国六卿之间的斗争，而且支持的是范氏与中行氏，可孔子却倾向于他们的敌人赵氏。因此，孔子返回帝丘时，卫灵公不仅没有前去欢迎，而且故意向孔子请教战争问题，以暗示卫国即将与晋国兵戎相见。孔子对卫灵公的态度也很不满。
一天，卫灵公与孔子谈话时，突然见到一群大雁排成人字形正自南向北飞行。灵公中断与孔子的谈话，只仰视着大雁，直到大雁消失在天际，仿佛孔子根本不存在一样。孔子看着老态龙钟的卫灵公，明白继续在卫国呆下去实在没有必要了，就决心再次离开卫国。
卫灵公四十二年(公元前493年)四月，灵公离开人世。
他的孙子姬辄承袭了君位，他就是卫出公。此时，卫出公的父亲蒯聩在晋国的支持下进入距帝丘仅四十里的戚邑(今河南濮阳北)，扬言进入帝丘与儿子争夺君位。孔子对这种违背礼制的举动深恶痛绝，为了不使自己卷入这场争斗，便带上弟子奔陈国而去。