卫灵公的夫人南子是宋国的公主，17岁时嫁于灵公。相传她极其貌美，有才气，但名声一直不太好。灵公几乎对她言听计从。久而久之，南子便开始干预起政事。那时，凡是有求于君王的，只要走走她的门路，必定可以成功。
南子很早就听说过孔子，知道他是一位大学问家，生得魁梧异常，却一直没有被重用。南子觉得用不了多久，孔子一定会来向她请托。可是过了很长时间，孔子也没有来求见，这反而引起她想见孔子的好奇心了。
于是，有一天，南子派人宣召孔子进宫。孔子何尝不了解这是晋升的好机会，但作为一个正人君子，怎么可以利用裙带关系而达到目的。所以，他拒绝了。他让来人转告南子，只要不是出于灵公的意旨，就不合礼法；不合礼法的事，君子是绝不会做的。
南子自出生以来，先为一国公主，后为一国之后，自然是顺风顺水惯了的，还没有哪个人敢像孔子这样拒绝她的要求。南子心里未免觉得不甘心。最后，她用了一些技巧，说动了灵公，以灵公的名义召孔子入宫，孔子自然不能再拒绝了。
孔子被带进宫以后，在一间挂着帷帐的会客室晋见南子。孔子神情肃穆，面朝北行稽首之礼。不一会儿，听到帐后有衣裙窸窣、环佩叮当的声音，应该是南子正在还礼。一礼已毕，环佩又开始叮当作响，南子竟还礼两次。这倒是罕有的事情，也许南子见着孔子如此君子情状，也不由得生出敬仰之心吧。
弟子子路性情耿直，对孔子晋见南子一事一直十分不高兴。
孔子解释说：“我原本也不想见她，可是是灵公召见，不得不走一趟。既然见了，自然要遵守该有的礼仪。如果我有什么错误的话，就让上天厌弃我！”
孔子见过南子以后，卫灵公对孔子的印象发生了改变，他觉得孔子并不是想象中的那么严肃拘谨，因此，在对待孔子的态度上不免有点随便。在他看来，这是君臣感情深厚，不拘小节的表现；但看在孔子的眼里，这就不合礼法了。下面的这则故事，是促使孔子决心离开卫国的直接因素。
有一天，灵公派人宣召孔子进宫，说有要事相商。孔子到了以后，灵公突然有事，需要出去一趟。于是，就征求孔子的意见，他说：“我刚好有事要出去，你我就在车上谈，怎么样？”
孔子一听，觉得这也没什么不可，就答应了。这时候，南子打扮得花枝招展地走了过来，她撒起娇来，也要跟着去。
本来，像这种场合，夫人是不能随行的，可是灵公并没有拒绝南子。孔子站在一旁，进退两难，尴尬万分。
灵公向孔子表示了歉意：“那就请你乘后面一辆车子吧。”
灵公和南子的马车华丽非常，一路招摇过市，路人为之侧目。孔子从那些人的眼神里，不难看出人民心中对灵公这种行为的恶劣印象。让一位名闻天下的学者跟在后面陪乘，这简直是一种侮辱，孔子的心中很不是滋味。
这件事之后，孔子叹息说：“我没有见过像喜爱美色一样尊崇道德的人！”
卫灵公的这种做法，既不成体统，又有些不尊重读书人的意思。孔子对他十分失望，于是决心要离开了。他叫弟子收拾行囊，第二天就起程。伯玉和文子苦苦挽留，孔子不改初衷，只是约定以后有机会一定再来，并留下几个弟子在卫国出仕，然后登车而去。
第章23晋室相邀
晋国位于山西省，还包括晋、冀、豫交界处的一部分土地，是春秋时的大国之一。
孔子尚在卫国之时，晋国中牟的地方官佛肸曾特地派人送来一封书信，大意是现在晋国四卿之一的赵氏意图篡位，而我佛肸世代为晋民，不愿助赵氏逆君犯上，因此准备在中牟起义，以保护晋室，恳请孔子前往晋国阻止赵氏作乱。中牟在今河南省鹤壁市西。
晋国自君王下设有六卿，同掌朝政。当时赵氏的宗主名鞅，世称赵简子。他确有篡夺君位的意图，此时正在攻打六卿之一的范氏和中行氏。但是佛肸的心思也并不像他信中说的那样大义凛然，他占据中牟，完全是想借三卿内乱之际，坐收渔利。
孔子收到信后，心想自己到处不得志，政治理想始终没有实现的机会。如果佛肸真是当世豪杰，倒可以和他共图尊周攘夷的大计，因此很想前往相助。
子路看到这种情形，对孔子说：“我曾经听夫子说过，那个人本身在做不好的事，君子是不会去加入的。赵简子固然有窃国的野心，但佛肸自据中牟，也是犯上作乱。夫子为什么要去帮助这样一个人呢？”
孔子说：“我是说过这句话。但是如果真的意志坚定，再怎么磨砺也不会有所损耗；如果真的心境清明，再怎么污染也不会变黑。所以不管到哪里，都不要在乎外界的条件如何，而要保持自己内心的东西。我可不像一个匏瓜，岂能挂在那里中看不中吃呢。”
匏瓜就是葫芦，它到老熟时，皮质坚硬，去掉里面的瓤，可以做盛水的用具。它生长时，系在藤上，不被人摘食。孔子的意思是说，他不能像匏瓜那样悬系着，而成为不可食之物，比喻他不愿在世间做无用之人。
子路理解孔子的意思，但佛肸实不是正直忠厚之人，所以一再诤谏，并指出佛肸与阳货其实是同一类人。孔子生平对阳货之流最为憎恶，于是往晋一事就此作罢。
后来，范氏和中行氏被赵简子打败，晋国便只剩下赵、魏、韩、智四卿，各据封邑。
赵简子为篡夺君位，一面训练士卒，厚植势力；一面诛杀贤人，控制国内舆论，以便名正言顺达成叛乱阴谋。首先被害的是晋国的贤人窦鸣犊和舜华。
范氏和中行氏被灭之后，赵氏在四卿之中一家独大。赵简子认为国内的阻碍力量已除，大业得成指日可待。他听说客居卫国的孔丘名闻天下，如果能请他前来相助，自然更加水到渠成。于是，赵简子派人携厚礼敦请孔子前往晋国。
孔子此时也正准备离开卫国，还没有决定下一个目的地是何处。恰好赵简子厚礼相邀，孔子认为亲自前往一看究竟，也未尝不可。于是，他立即命弟子们打点行装，拒绝了蘧伯玉的挽留，驱车往晋国而去。
途中停在河边休息的时候，孔子一行人巧遇弟子申绩。
孔子问他：“我早就想到晋国去看看，过去佛肸曾派人专程来请我，我听说他是个犯上的人，我生平最厌恶这种人，所以就没有答应。如今赵简子也派人来邀请，据子路说，赵简子贪得无厌、残暴不仁，不知真相如何。你是晋国人，你倒说说看，也好让我作个参考。”
申绩回答：“赵简子的确是有篡逆的野心，他首先铲除碍手碍脚的人物，例如窦鸣犊、舜华，他们都是晋国洁身自好的君子，简子未得志时，他们都曾帮助过他。简子得势后故意表现出一副礼贤下士、重贤任能的样子，先委以要职，却又处处掣肘，使他们无法达到要求、完成任务，然后再以此为借口，加以杀害，这样他们的死就好像跟自己没有关系了。这是多么狠毒的做法。国内很多人都明白实情，但谁也不敢讲话，否则就会惹来杀身之祸。夫子你还是不要去了，他派人相请是企图利用夫子的名望以壮大他的声势，其实他根本就容不下贤人。”
孔子一声长叹，走到河边，望着滚滚而逝的流水叹道：“浩浩荡荡的流水，多么美啊！可是，我却不能过去，这想必是命中注定吧。”
子贡当时紧随在旁，他问孔子为何兴叹。
孔子说：“窦鸣犊、舜华都曾帮助过简子，如今他竟然以怨报德。我曾听说过，如果剖腹取胎，杀死幼兽，麒麟就不肯去那里的郊野；如果竭泽而渔，一网打尽，蛟龙就不肯在此地降雨；如果捣毁巢窠，打碎鸟蛋，凤凰就不会飞到这里。这是什么缘故呢？君子看到他的同类被害而感到伤心啊。鸟兽对于这种不义之举尚且知道躲避，何况是我呢？”
就这样，孔子中止晋国之行，而取道曹国，前往自己的祖国——宋国。这时，孔子已经59岁。