有一次，卫灵公要求孔子与他一起出游，孔子高兴地答应了，谁知在出游时，卫灵公与南子坐在第一辆车上，把孔子安排在第二辆车上，孔子的车跟在灵公和南子车后招遥过市。灵公这样安排，无非是想表白自己与孔子的亲密无间，但在孔子看来，室内会见尚可，跟在女人车后则是对自己的污辱，从此闷闷不乐。
这年的卫国是多事之秋，公子与南子发生矛盾，卫国还卷入了晋国的争权斗争，本该是用人的大好时机，孔子多次表明：“如果有人用我主持国家政事，一年便差不多了，三年就会有成就。”然而孔子的呼吁得不到灵公的响应，孔子自我形容：他就像那挂着的葫芦，只供人看，不能食用。
此后一段时间，孔子曾想到晋国去，但未去成。卫灵公死后，卫国内乱，战祸迫在眉睫迫在眉睫：比喻事情临近眼前，十分紧迫。，孔子决定离开卫国，到陈国去。他的门生，除一部分留在卫国做官外，其余的人都随他一同离开。孔子在卫辗转辗转：经过许多地方。四年，这时已经59岁了。
孔子离开卫国后，经过曹国，到了宋都。应孔子的请求，宋景公接见了他。整个接见过程中宋景公都没精打采，更使孔子难受的是宋司马桓魋。此人是宋桓公后代，骄模奢侈，当上司马后就想死而不朽，要人给他做一套巨型石制套棺。由于工程艰巨，三年没有完工，工匠们都累病了。孔子见了很生气，不禁动容，气愤地说：“与其像他这样奢侈，不如叫他死后早些烂掉！”
这话传到了桓魋那里，惹出麻烦。当时，孔子住的地方有一棵大树，他常在树下给学生们讲课和演习礼仪。桓魋派人把这棵树连根刨掉，故意找事。学生们十分担心，要求赶快离开。
孔子镇静地说：“不要慌，上天使我成为一个品德高尚的人，桓魋对我是没有办法的。”
孔子嘴上这么说，心里还是紧张，他带着学生匆匆地离开这个是非之地。而桓魋也不是真要杀孔子，只是搞点恶作剧报复一下。孔子离去他并没有认真追赶，只是在后面虚张声势地吆喝了一阵就回去了。为防止桓魋再派人追杀，孔子他们分成几个小组分路奔逃，约定在郑国都城新郑外会合。
新郑距宋城三百余里，孔子等人经过几天仓惶（huánɡ）跋涉，相继到达新郑城外。孔子独自站在城东门附近等候聚合，学生们一时没找到老师，逢人便打听。当子贡问一个老乡时，那人回答：“我倒见到一个人，立在东门外，长得很有气派，只是神色很不好看，简直像一条丧家狗。”
学生们找到东门，果然见孔子站在那里，子贡把老乡的话如实告诉他，他笑了笑说：“说我气派，倒是未必，说我像只丧家狗，啊，啊……这倒是很像，很像！”
孔子内心是酸楚的，背井离乡背井离乡：离开了故乡，在外地生活（多指不得已的）。，颠沛流离颠沛流漓：生活艰难，四处流浪。，是无人重用啊！
孔子一行在郑国短暂停留后到达陈国。陈国是一个南方小国，陈闵公对孔子的到来非常高兴，待为上宾，把最好的馆舍分给他们住。孔子一行获得了生活的暂时安宁。
不久，传来鲁国都城发生火灾的消息，大火越过王宫，殃及东面的宗庙。孔子凭着丰富的地理、风向、建筑知识，断定桓、喜二庙被焚，不会祸及其它。孔子在与陈闵公闲谈时，他的判断很快得到证实，大火烧毁的果然只是桓、喜二庙。陈闵公闻后瞠目，他对子贡说：“我现在才知道圣人是多么了不起！”
孔子受到陈闵公的礼遇，便留居下来，从事文化教育活动，充当政府顾问。生活的安定使孔子又召了一批新的学生。在陈国一住就是三年。大概是觉得政治上无所作为吧，孔子有些思归了。
孔子留陈期间，鲁国执政季桓子病故，临终前为孔子长期流落在外而内疚，嘱咐儿子季康子继任执政后把孔子召回来。这个消息使孔子很受鼓舞。但是鲁国的召请没有到，孔子也就继续住在陈国。
孔子在陈国的活动和声望引起了楚国的注意，楚昭王打算聘（pìn）请孔子，并准备把书社的七百里地封给孔子。消息传来，孔子兴奋不已。楚是南方大国，孔子刚到陈国时就想赴楚一游，现在总算落实了。说不定能在楚国施展自己的政治抱负呢！
从陈国到楚国，中间要经过一些小国。这些小国是吴楚争夺的对象，特别是蔡国，双方争夺得最厉害。你打过来，我打过去，真是兵荒马乱。八百余里广漠地域（叩），人烟荒芜，连个借宿就餐的地方都没有。孔子一行经过这里，立即陷入进无所、退无路的境地，沿途还要躲避吴国军队袭扰，有时还不得不绕道而行。他们带的口粮很快用去多半，只能采野菜掺合米粒充饥。
在这段最艰难的日子里，孔子与颜国之间发生过一起误会。颜回负责照管大家的伙食，一次他发现灰尘落到粥锅里，觉得把粥倒了十分可惜，给别人吃也不好，于是就自己捞出来吃了。恰在这时，孔子从旁经过，他以为颜回经不起考验，私自偷吃，就提醒颜回注意。颜回说明了实际情况，孔子听后很受感动，觉得自己没有做到“知人”。他把这件事告诉全体学生，表示了歉意，要求大家从中汲（jí）取教益，防止主观武断。
师生们绝粮的第七天，楚国负函叶公派来接应的车队赶到了。孔子一行摆脱了困境，顺利到达负函。
负函离楚都郢还有六七百里地。孔子到达负函时，病中的楚昭王召集贵族们商量，想予以孔子重任，封地七百里。贵族们认为楚昭王对孔子的待遇太优厚了，令君子西不赞同楚昭王的主张，使楚昭王一时拿不定主意，再看看其他大臣，他们也都同意子西的意见，只好把这件事放下了。也该孔子倒霉，没几天，楚昭王就死了，当权的子西自然是不会欢迎他的。
孔子在负函住了些日子，总是等不到楚昭王的使者，后来听说昭王死了，当权的贵族又反对自己，他觉得自己又一次处于进也不是，退也不是的境地。好在楚国的名山大川吸引了他，他用去许多时间漫游楚地，对这个南方大国的乡土、山川河流和人民表现出巨大的热情。
随着时间的流逝，思乡思归之情越来越牵动孔子的心。一天，孔子坐车外出散心，一个疯疯癫（diān）癫的人走来唱道：
“凤凰啊，凤凰，
你为什么这么狼狈？
过去的不能挽回，
对未来也不能痴迷。
算了吧，算了吧！
现在当官的已经人人自危。”
孔子听了这支歌，急忙从车上跳下来，想跟那人说说心里话，可是，那人早已走开了。
虽然孔子很想返回鲁国，但是季康子始终没有派出欢迎他回去的使臣，他决定选返卫国，看看情况，从卫国再返鲁国也方便些。
孔子第三次来到卫国，卫国依然没重用他。孔子从政济世的雄心难于实现，他再也不把从政作为第一追求，而将主要兴趣转向文化学术生活。弘扬传统文化的使命感，使他决心要在自己的晚年把《诗》、《书》、《礼》、《乐》和其它典籍整理出来，传于后世。
晚年与著述
公元前484年，68岁的孔子回到阔别多年的家乡。
鲁国政府给孔子较好的生活待遇，尊他为国老，但不授予任何官职。孔子的弟子冉有、子贡、子路、子游、子夏、宓子贱等则相继任职。
孔子的心依然不能平静，他试图用自己的影响力来参与统治。他告诫告诫（jiè）：警告；劝告。鲁哀公说：
“古之为政，爱人为大。君者，舟也；庶人者，水也，水可载舟，也可覆舟。”
执政的季康子来看望孔子，请教政治。孔子说：
“政者，正也。您带带头端正自己，谁还敢不走正道？”
季康子又问：“如果杀掉无道之人，来亲近有道的人，您说如何？”
孔子冷冷一笑，说：“您执掌国政，哪里用得着杀人？您要自己善良，百姓就会善良。君子的德行是风，小民的德行是草，草顺风而倒。您对百姓庄重，百姓就会敬重您。您孝敬长者，慈爱幼者，百姓则忠心耿（ɡěnɡ）耿。您提拔有能力的好人，教育无能之辈，百姓就会要求上进。您如果不贪财，就是奖励他们的偷窃行为，他们也不愿去偷。”
孔子不理会季康子的感想，用热烈的语调继续说：
“伟大啊，尧这样的君主哟！多么崇高啊，唯有天最高大，唯有尧能效法天。尧的恩德浩浩荡荡，百姓都无法用言辞来称颂他。他的功绩多么伟大啊，他的学说多么光辉啊！”
孔子颂完尧颂禹。孔子说真是挑不出禹的毛病。季康子见话不投机，匆忙起身告退。
子游出任武城宰，用礼治邑。孔子带着弟子前去参观，听见百姓在练习弹琴唱歌。孔子说：
“杀鸡焉用牛刀？”
子游解释了一番。孔子笑着对弟子们说：
“小伙子们，他说得对，我刚才是开玩笑罢了。”
车进武城，孔子见老朋友原壤叉开两腿坐在地上，说是在等孔子。
孔子说：“你小时候不孝悌（tì），长大了又无出息，老而不死，真是害人精！”
说着，孔子用拐杖敲敲原壤的小腿。
孔子对季康子的规劝并没发生作用。季康子想要攻打臣服鲁国的颛（zhuān）臾（yú）。孔子将冉有和子路叫来问询。冉有推说是季氏要攻打，我们是人家手下之臣罢了。
孔子不高兴地说：“冉有啊，古人说过，尽自己的力量去任职，做不好就辞职。有危险你不自持，要倾覆你不扶助，那又何必有你呢？君子最讨厌那种不承认自己贪心还一定强词夺理的人。国家分崩离析尚且不能守住，还策划大动于戈打内战。我担心季氏的忧患，不在颛臾，而在萧墙之内也。”
孔子终于潜心考虑最后的工作。
孔子说：“君子之道有三个方面，我都没做到：仁者不忧，智者不惑，勇者不惧。没有人了解我啊！不怨天，不尤人，我不耻下问而学通了道理。知我者大概只有老天了！君子担忧到死而名声仍不被称颂啊。我的道不能行，我留给后世什么呢？”
孔子整理着礼乐。他曾问乐于苌（chánɡ）宏，学琴于师襄（xiānɡ）子，听《韶》三月不知肉味。他爱和别人一起唱歌，唱得好就再唱一遍。自从回到鲁国，他对乐曲进行订正，使得《雅》和《颂》各得其所。可惜，孔子整理的这部中国最早的音乐典籍未能流传下来，留下的只是歌词——《诗经》，共三百零五篇。
孔子说：“兴于诗，立于礼，成于乐。《诗》三百，一言以蔽之，日‘思无邪’。为什么不学诗呢？诗，可以兴，可以观，可以群，可以怨。近则事奉父母，远则事奉君主，还可多识鸟兽草木之名。”
孔子在晚年，迷恋《易经》。一部竹简，牛皮绳被他看折了三次。人称“韦编三绝”。
孔子说：“如果增加我几年寿命，五十岁时就学《易》，可以避免大的过失了。
孔子将虞（yú）、夏、商、周四代的历史档案经过删节整理，编为被称作《书经》的《尚书》，以此光大远古圣君的业绩。
孔子做的最用心的一项事业是编撰中国历史上的第一部编年体史书——《春秋》。
此书根据鲁国的历史档案修订。他有感于当时的乱世，将鲁隐公元年到鲁哀公十四年之间长达242年的历史，以自己的观点予以修订。孔子将王公大夫作为他的审视对象，或贬抑，或声讨，以所谓“微言大义”的“春秋笔法”达到警世的目的。孔子做得非常认真，字斟（zhēn）句酌（zhuó），使精通文辞的弟子子夏在整理时感到竟无一字可改动。
后来继承儒学的孟子（约公元前372年——公元前289年）说：“孔子作《春秋》，而乱臣贼子惧。”
孔子说：“知我者，其惟《春秋》乎？罪我者，其惟《春秋》乎？”
孔子用修订史书的方法贬斥他深恶痛疾的君不君、臣不臣的乱世乱臣。但这本是天子的职权，孔子取而代之有僭（jiàn）越之嫌。后人是“知”还是“罪”，孔子只能听天由命了。
孔子将他的方法称作“述而不作”，即传述古籍而不是创作。经孔子整理的“六经”，《礼》和《乐》已失传。其余的《诗》、《书》、《易》、《春秋》，作为儒家的经典成为中国古代知识分子的必读书，深刻而长久地影响着一代代的中国人。
有个守城门的人，称孔子为“知其不可而为之”的人。
孔子说：“大道之行也，天下为公。选贤举能，讲信修睦。故人不独亲其亲，不独子其子。使老有所终，壮有所用，幼有所长，鳏（ɡuān）寡孤独废疾者皆有所养。男有分，女有归。货恶其弃，于地也，不必藏己。力恶其不出于身也，不必为己。是故谋闭而不兴，盗窃乱贼而不作，故外户而不闭——是谓大同。”
孔子的人格经长时间的修养，已达圣贤的境界。他平常和一般人来往时，谦虚温恭得近乎不善辞令似的。
可是，一到宗庙或朝廷，孔子的谈吐却是头头是道，唯辩而谨敬。
和上大夫们谈话时，孔子的态度是誾（yín）誾中正的样子；和下大夫们说话时，是侃侃和乐的样子。
进入公门时，必恭敬地鞠躬如也。
奉君命去迎接宾客时，必谨谨慎慎地进退如仪。
孔子用膳，有定量，尽量吃那容易消化的食物。酒量虽无定，但都能适可而止。
吃东西时，不和人说话；夜晚，就寝后也不说话。
遇有朋友或弟子们逝世时，没有亲人料理丧事，孔子便自动地去照料。
孔子70岁这年，他的独子孔鲤（lǐ）先父亲死去，年仅50岁，留下孔仍这个幼子（孔仍字子思，受教于孔子的弟子曾子，写出后代儒生必读的《中庸》）。孔子将儿子简单地葬了。
令孔子非常伤心的是，第二年颜回也死了，年仅41岁。孔子得知，放声大哭，连连叫道：
“老天要我的命啊！老天要我的命啊！”
颜回是孔子最喜爱的弟子。他敏而好学，闻一知十，从来不迁怒于人，不重复已犯过的错误，深得孔子的器重。孔子认为他有宰相之才。也许因为家贫生活清苦，颜回身体一直较弱，不到30岁头发全白了。孔子曾说：
下一年，从卫国传来消息，担任蒲邑宰的子路为了救护主人孔悝，在争夺君位的混乱中被杀。临死，他还记着“君子死，冠不免”，将被砍断的帽缨系好，不借被斩为肉泥。
孔子听说后，老泪纵横。他吩咐将家中的肉酱盖上，不忍再看。
在接二连三的打击下，年迈的孔子身心已不能支持。他悲哀地说：
“我衰弱得多厉害啊！很久很久了，我不再梦见周公。”
公元前481年春天，叔孙氏手下有个叫鉏（jǔ）商的车夫，在鲁国西郊大野的一次狩猎狩猎：打猎。中，猎获了一头异兽。因人人不知是何物，就请孔子来辨识。孔子一见，大吃一惊；顿时泪流满面。
孔子说生：“这就是麒（qí）麟（lín）呀！在唐虞（yú）那种太平盛世麒麟域和凤凰才会出现。如今天下无道，怎么会有麒麟呢？”
麒麟是能体现孔子“仁”的思想的祥瑞之兽。它生有独角，角为肉柱，有角而不用以伤人。它有马的足蹄，蹄声宏亮，行走有规有矩，从不践踏活物。它不群居不结伴而行，不入陷阱，不罹（lí）罗网，圣王当道才显现于世。
麒麟的出现和死去，在孔子看来并非吉兆，此事就应在自己身上。他叹息道：“吾道穷矣！”于是扔下手里的笔，不再编写《春秋》。
在生命的最后日子，孔子贫病相交。
这位伟大的英哲溘然长逝溘然长逝：忽然死亡。，享年七十三岁。这一天是公元前479年周历4月11日。
孔子死后，弟子们将他安葬在鲁国都城北泗（sì）水之滨的曲阜，服丧三年；然后洒泪分别。子贡则在墓旁修筑草庐，足足守了六年。有一些弟子和亲友念念不舍，依傍孔子坟墓定居者有一百多家，后来这里就叫孔里。冢（zhǒnɡ）旁有一块空地，成为鲁国的读书人举行乡饮、乡射之所。城中孔子的故居，辟做庙堂，内藏孔子的遗物和礼器，儒生们在里面学习礼乐，历时四百年，直到汉初，这庙里从未断过弦歌之声。后来到这里谒吊这位伟大的哲人的游人越来越多，遂于周围广植松柏，刻石立碑，渐渐形成了一个颇具规模的陵园，人称孔林。