杜甫到衡州后，本想投奔在衡州任刺使的韦之晋，不料他还在路上时，韦之晋就改任了潭州刺史。杜甫刚到衡州下了船，就不得不和他所投奔的人告别。而且韦之晋刚到潭州不久，就在四月里死了，杜甫不得不离开衡州，沿着湘江向下游漂泊。此后他在陆地上再也没有了安身之所，他最后的一年半时光大部分是在船上度过的。
杜甫与苏涣虽然分别了，但苏涣的思想给杜甫带来了很大的冲击。苏涣认为只有农民起义才能够改变农民的命运，杜甫始终都在思考着他这句话。杜甫而今沦落江湖，又长期生活在人民中间，对人民的生活有了更多的了解，对人民也就更加的热爱。他想着他面前一个个熟悉的淳朴的面孔，这些人都会变成“盗贼”吗？他一时感到很是惶恐。
杜甫从湘江而下，途经耒阳。在那里他因大水阻隔，困在湘江上达七日之久不得食，耒阳县令闻讯，忙为他送来了酒和牛肉。杜甫一顿饱食之后，身体恢复了许多，谢了耒阳县令，继续起程，再次来到潭州。
在潭州，杜甫以船为家，停泊在一群渔民中间。时值寒冬，杜甫衣衫单薄，渔夫们都很同情这个外乡人。有时他们卖了鱼，提着半罐酒来到杜甫的船上闲谈，大家这样一来二往就很熟悉了。渔家总是说到官府的税收如何盘剥得厉害，叫渔民们无法生存，即使把这湘江里的鱼全部捕了送给官府，他们还不会满足。杜甫听着渔夫们的话，想不到江上生活的渔民们也被租税压得喘不过气来，普天之下百姓的生活都是一样啊。杜甫从江上望两岸，但见田园荒芜，杂草横生，农民逃亡得不见踪影。这还是在没有遭受安史之乱的南方，却也是万物萧条。现在看来，真的如苏涣说的，叫统治者减轻人民的赋税是不可能的。渔民们走投无路，像农民一样逃亡，或是像苏涣说的人民揭竿而起的日子恐怕不远了。苏涣或许正盼着这一天呢，但杜甫一想到这里，心口就隐隐疼痛起来。
渔民们见杜甫的生活比他们更加可怜，甚至到了衣食无着的地步，又见他的夫人杨氏总是皱着眉头，凝视着江水叹息，愁没有下锅的米，十六岁的小儿子宗武饿得满脸苍白，但手里却还拿着一本厚厚的《文选》在读。渔夫们就纷纷为杜甫出主意说：“您船上不是还有很多草药吗？大伙儿往常有病，用了您送的药，觉得效果非常好。您手里有这样的灵丹妙药，还怕换不来买米的钱吗？您拿点苍耳、决明子等药材到集市上去卖。跟我们一起到渔市上摆个卖药摊，既可以治病医人，又可以换点米回来。”杜甫深深感激渔夫们为自己出的主意。杜甫想，卖药，他是有经验的，以前在长安时，他在王宫贵族的府邸卖过药；在成都时，他也在一些官吏中间卖过药；如今到潭州，见到了如此善良淳朴的老百姓，为什么不把药卖给老百姓呢？老百姓常年受压迫身体不好，是比那些官吏王公贵族们更需要药的啊！于是他接受了渔夫们的建议。
大雪过后，天气转暖，杨氏夫人从箱子里找出一包一包的草药，把药分门别类，装在一个袋子里交给杜甫。杜甫于是跟着左邻右舍到了离江边不远的鱼市。渔夫们这一天特别的兴奋，都想看看他们为杜甫出的这个主意是不是一个好主意。
渔市倒非常热闹，渔夫们把最好的位置让给了杜甫，并且还帮助不善于推销的杜甫推销，他们遇到有人来买鱼，不说自己的鱼是如何的肥大和新鲜，只说旁边的杜甫的药摊上的草药是如何的珍贵，都是全国各地产药闻名的地方出产的，还说好几个皇上都用过杜甫的药呢！效果非常好。来买药的人说，既然连皇上都相中了他的药，还用在这里卖吗？渔夫就呵呵一笑，压低声音说：如今皇上不当家，奴才倒当家了。买药的人就怀着好奇心来到杜甫的药摊前，仔细挑选了一两味药材买走。没有多久，杜甫卖药的事情就传遍了整个渔港，附近有患风湿病的、打摆子的、老眼昏花的、消化不好的、神经衰弱的，都跑来买杜甫的药。杜甫的药物美价廉，而且他还耐心地讲解这些药的作用，该如何熬制成药效果最好等。杜甫对百姓的服务很是周到，潭州老百姓都围在杜甫的身边，他心里感觉到很是温暖，如同春回大地似的。
这一天杜甫的药卖出不少，渔夫们都很高兴，他们把杜甫看成是自己的朋友，与杜甫的友谊又更深刻了一层。
由于有渔夫们的帮助，杜甫的卖药很顺利。杨夫人脸上的愁云渐渐散去，宗武的脸色也不那么苍白了。后来，渔夫们见杜甫的身体渐渐地虚弱，就对杜甫说让他的儿子宗武跟着他们一起去，让杜甫在船上歇息，杜甫听从了他们的话。此后，宗武就每天跟着渔夫们到集市上去卖药，而杜甫躺在江上的小船里，看着江上的风景，一生的遭遇在眼前风起云涌似的闪现着。他能预感到这一生快要结束了。
落日的余辉撒满了湘江，寒风吹打着附近渔民的小船。那些船都是如此的破旧和窄小，在风浪中简直像要随时沉没似的。但那是渔民们赖以生存之舟，他们就在这样的风浪中生活了一辈子，甚至几辈子都在这样一条随时都有可能被风浪打沉的船上生活着。渔夫们尽管自己都朝不保夕，他们却还是那样的关心他，这与长安、洛阳城里的那些达官贵人们是多么的不同啊！杜甫从这些渔夫们身上感受到了无穷的温暖，尽管过去自己曾写出过大量的反映人民苦难生活的诗歌，也给过人民一些实惠，也曾为改变他们的命运而呼吁，而且那时也都是一片赤诚，但他还是觉得自己过去为人民所做的太少了，远远比不上人民给予他的那么多。他过去反对农民起义，但现在呢，他不那么看了，因为他想为人民找一条出路，这条出路他找了一辈子都没有找到，除了苏涣说的那条出路之外。但苏涣说的那条出路，又是他不敢去想的。
看来，茫茫人世间，要想真正改变人民悲惨的命运，除了农民起义之外，别无他法，但杜甫至死都不愿意看到他心爱的人民走上起义这一条道路。因此，杜甫在这一生的探寻之路上，是彻底失败了。
杜甫一生当中，一直没有停止过探寻人民出路这一个重要问题。随着他命运的转变，他从走出朝廷，到走向人民，到最后与劳动人民同甘共苦，他是一步步地向劳动人民的生活靠拢，心灵一步步地与劳动人民贴近。他对人民出路的探寻也就更加的深刻。这种追寻真理的探求精神，是真诚、漫长而执著的，是屈原的“路漫漫其修远兮，吾将上下而求索”的精神的再现。
因为诗人一身正气，对社会政治有一种历史责任感，对人民拥有一片赤诚之心。所以他虽仕途多舛，一生不达，却“物性莫夺”，始终不渝地保持着对人民命运的关心，时时刻刻在探索着人民的出路，忧心忡忡，至死未悔。以天下民生疾苦为己任的仁人志士之情怀，是儒家的政治理想所追求的，探索在悲惨世界里的人民的出路，改变人民的命运，正是儒家所欲肩负的历史使命。体现在杜甫这位“奉儒守官”的伟大诗人的社会良知中，在这一点上也鲜明地表现出他的真诚的个性。
