经过这件事后，孔丘下定决心离开卫国，带着弟子来到曹国，又从曹国出发前往宋国。
宋国司马桓魋（tuí）恃宠骄横，听说孔丘来到了宋国，怕他为宋景公所用，派人跟踪孔丘。见到孔丘和学生坐在一棵树下讲学，桓魋的人便砍倒那棵树。学生们一看来者不善，心里已经猜着了七八分，对孔丘说：“咱们还是快走吧。”孔丘不以为然地说：“上天让德行降临在我身上，桓魋又能把我怎么样呢？”这一年，孔丘五十九岁，按他自己的说法，早就过了知天命的年龄，因此对于种种困苦，他总是安之若素，表现得极为淡定。
话虽如此，宋国是呆不下去了，孔丘只好又来到郑国。在新郑城外，孔丘和学生们走丢了，一个人又冷又饿，身上又没钱，只能倚着东门外的城墙发呆。学生们四处找他，有个郑国人对端木赐说：“我在东门看见有个人，他的额头像唐尧，他的脖子像皋陶，他的肩膀像我们郑国的子产，自腰以下比夏禹差三寸，长得倒是一表人才，只不过虚弱疲惫的样子，就好像一条丧家之犬。”端木赐一听，连忙让他带着去找，果然找到了孔丘。端木赐将那人的话一字不漏地告诉孔丘，孔丘欣然笑道：“他形容我的长相，未必准确，但是说我像条丧家之犬，还真是很形象啊！”
孔丘终于来到了陈国，寄居在公孙贞子（也就是后来出访吴国时死去的那位）家里。在陈国，孔丘再一次展现了他渊博的知识。
有一天，一只隼落在陈闵公的庭院中死去，身上插着一支奇怪的箭，箭杆是楛（kuˉ）木做的，箭镞是石制的，箭长一尺八寸。谁都不认识这新石器时代的武器，陈闵公早闻孔丘大名，于是将他请去辨认。
孔丘看了之后说：“隼飞来的地方很远啊，这是肃慎部落的箭。从前周武王攻灭商朝，打通四方道路，让蛮夷部落各自进贡那里的地方特产。肃慎部落进贡了这种箭。先王为了昭彰美德，把肃慎进贡的箭分赐给长女大姬，又将大姬许配给胡公，让胡公建立了陈国。将珍宝玉器赏赐给同姓诸侯，是要加深亲族的关系；将远方献纳的贡品分赐给异姓诸侯，是让他们不忘记义务，所以把肃慎的箭分赐给陈国。”陈闵公试着派人到旧仓库中寻找，果真找到了这种箭。
孔丘在陈国一住就是三年。三年间，陈国一直处于动荡之中，吴国和楚国交替入侵陈国，日子过得很不太平。终于有一天，孔丘对弟子说：“回去吧，回去吧，我家乡那些小子志大才疏，不过好在没有放弃追求。”
一行人于是收拾行李北上，但又没有直接回鲁国，而是返回了卫国。经过蒲地的时候，不巧当地正发生叛乱，叛军封锁了道路，不让孔丘通过。孔丘的学生中有个叫公良孺的，长得人高马大，素有勇力，见到这种情况便挺身而出，说：“当年我追随老师在匡地遇难，现在又在蒲地遇险，看来这也是我的命运啊！如果再被人囚禁起来的话，我还不如去死。”带着自己的几名随从主动出击，所向无敌。叛军害怕了，派人交涉说：“只要孔丘不去卫国，我们就让你们通过。”
孔丘听到了，马上回答：“好。”
叛军不放心，要求双方举行盟誓才放他们走。孔丘也一口应承。离开蒲地后，孔丘便命学生：“选准道路，直奔帝丘。”
学生们大吃一惊，都说：“老师您总是教导我们做人要守信用，刚刚和人家宣誓不去卫国，怎么就不遵守了呢？”
端木赐更是直接质问：“盟约难道可以撕毁吗？”
孔丘用手戳了戳端木赐的胸口，说：“笨蛋，我是受到威胁才跟他们签订盟约，我自己都不相信，神怎么会相信？”
“老师您实在是太坏了！”
卫灵公听说孔丘又来了，高兴得不得了，亲自跑到郊外迎接，至于南子有没有跟着去，就不得而知了。
卫灵公问孔丘：“您刚从蒲地过来，对那儿的情况想必有所了解，您看我们现在出兵讨伐叛军行吗？”
孔丘说：“行。”
卫灵公说：“可是我的大夫们都说不行。他们的意思是，留着蒲邑，日后可以对付晋国和楚国，如果我们现在就讨伐它，恐怕不好吧？”
孔丘说：“那里的男人不跟叛乱分子合作，宁死不屈，那里的女人都想往西边的黄河上逃跑，真正需要我们去讨伐的不过四五个人罢了，为什么不去进攻？”
卫灵公说：“您说得对。”虽然他这么说，可是始终不见动静，这事最终不了了之。孔丘也看出来了，卫灵公已经老了，无心于政治，更不想有所作为。他不胜落寞地说：“只要有人肯用我，给我一年时间就会见到效果，给我三年时间必大有收获，可惜……”
这时候，晋国正值中行氏、范氏之乱。赵鞅率军东下，进攻中牟。中牟地方长官佛（bì）肸率领部下背叛晋国，派人请孔丘去中牟共举大事，孔丘不禁有点动心。仲由说：“以前您教导我们，凡是亲手干过坏事的人，君子是不会与之同流合污的。现在佛肸在中牟反叛晋国，您却还想去，是怎么回事？”
孔丘说：“我是那么说过。但我也说过，真正坚硬的东西是怎么也磨不坏的，真正洁白的东西是怎么也染不黑的。只要我去到那里，那里就是会是王道乐土。子路，我可不是一个葫芦啊，怎么能够只挂在墙上中看不中吃呢？”
回想起来，这已经是孔丘第二次动这样的念头了。前一次公山不狃请他出山，由于学生的劝阻而没有去成；这一次佛肸向他招手，还是被学生劝住了。从这两件事不难看出，孔丘始终还是抱有理想主义的态度，认为只要给他机会，他就能改变世界。
自此之后，孔丘在卫国过得郁郁寡欢。有一天他在屋里敲磬（一种石制乐器），有个打猪草的农夫从门口经过，听到磬声就感慨地说：“这是心里有苦闷啊，而且还很固执，没有人理解就算了，何必那么放不下呢？”
为了打发无聊的时间，孔丘找到卫国的宫廷乐师师襄学习弹琴。师襄教了他一个曲子，他一连练了十天还不肯罢手。师襄说：“你已经弹得很不错了，可以练新的曲子了。”孔丘说：“我现在只是学会了这首曲子的弹奏方法，还谈不上熟练。”又过了些日子，师襄说：“现在已经很熟练了，可以练点新的了。”孔丘头也不抬，说：“不行，我还没有体会到乐曲表现的思想意境。”又过了几天，师襄说：“你已经进入乐曲所表现的意境，可以了，真的可以了。”孔丘说：“不行，我的眼前还没有出现乐曲中所表现的人物形象，还要继续努力。”又过了些天，孔丘弹着琴，突然停下来，默然有所思，接着又抬起头似乎在登高望远，说：“我已经看到乐曲所歌颂的那个人了，他黝黑的脸膛，高高的个子，眼睛炯炯有神，一副君临天下的样子。这个人如果不是周文王，还能有谁呢？”师襄一听，立刻站起来向孔丘行礼，说：“你弹的就是传说中的《文王操》啊！”
孔丘长叹一声。他本来想寄情于音乐，忘掉怀才不遇的烦恼，没想到钻研进去，反倒是更让他滋生了难以舍弃的情愫。他再也按捺不住，准备西行到晋国，去找赵鞅谋一份差事。刚刚走到黄河边，听到赵鞅杀死晋国大夫窦鸣犊和舜华的消息。孔丘立刻停步不前，对着奔流不息的河水说：“多么壮美的黄河啊，浩浩荡荡，无边无际！我这一辈子恐怕不能渡过去了，这也是命中注定的吧！”学生听了，走过来问道：“您这话是什么意思，难道走到了这里，您都不打算过河吗？”
孔丘说：“窦鸣犊和舜华，都是晋国的贤大夫。赵鞅未得志的时候，这两个人给了他很多指导和帮助；等到他一旦得势，就将他们杀掉。我听说，哪里有人涸泽而渔，蛟龙就不去降水；哪里有人为了鸟蛋而毁掉鸟巢，凤凰就不去那里飞翔。这是为什么？因为君子不愿意看到自己的同类受到伤害。鸟兽对于不仁不义的事，尚且知道躲避，何况是我孔丘呢？”于是退回去，写了一曲《陬操》来哀悼窦鸣犊、舜华二人。不久之后，又来到卫国，继续住在蘧伯玉家里。
有一天，卫灵公又将孔丘召了去，询问行兵布阵的事。孔丘说：“祭祀方面的事情，我曾经学过，军旅方面的事情，我一无所知。”卫灵公不置可否，也不再说什么，抬着眼睛看着天上飞过的鸿雁。孔丘看着他花白的胡子迎风颤抖，不觉悲从中来，没有再说什么，悄然退下。
这年夏天，卫灵公去世了。孔丘也离开卫国，又来到了陈国。大约是从这个时候开始，他迷上了《周易》，为周易写了《系辞》《彖》《象》《文言》等诸多著作，成为后世研究《周易》的重要文献。据说，他因为不停地翻读《周易》，以至于“韦编三绝”，也就是串竹简的皮条都断了三次。
同年五月，曲阜的官署发生火灾。火苗越过公宫，烧毁了鲁桓公、鲁僖公的庙。孔丘在陈国听到火灾的消息，通过《周易》推演，准确地判断出了受灾的房屋，“其桓、僖乎？”
同年秋天，季孙斯病倒。他让人抬着自己出来巡视曲阜的城墙，感慨地说：“这个国家曾经一度几乎兴旺起来，就是因为我得罪了孔丘，使得他离开，所以就没能振兴。”他回头看着自己的儿子季孙肥：“我死之后，你将执掌国政，一定要将孔丘叫回来帮你。”
没过几天，季孙斯便死了。季孙肥安葬了季孙斯后，就准备派人去陈国宣召孔丘。大夫公之鱼劝道：“当初您父亲就是因为对待孔丘没能善始善终，遭到诸侯耻笑。今天您要用他，如果再不能善始善终，只怕又要惹得诸侯们耻笑了。”季孙肥说：“那怎么办？”公之鱼说：“可以考虑让他的学生冉求回来。”
