陆游在淳熙六年自福建召还，到衢州奉命改调江西，无须入都；淳熙七年他自江西召还，到严州寿昌县，奉命罢免，无须入都。这两次的事故都发生在赵雄一人独相的时候。这里正看到政治斗争的内幕，同时两次无须入都的指示，也看到赵雄手腕的毒辣，他不给陆游以面对的机会。
淳熙七年（1180）的岁暮，陆游罢官回乡了。在罢官的当中，他的名义是“主管成都府玉局观”，他在诗中曾说：
放翁白发已萧然，黄纸新除玉局仙。
他和自己调侃，还作了一首《玉局歌》：
玉局祠官殊不恶，衔如冰清俸如鹤，酒壶钓具常自随，五尺新蓬织青箬。倚楼看镜待功名，半世儿痴晚方觉，何如醉里泛桐江，长笛一声吹月落。蒋公新冢石马高，谢公飞旐凌秋涛，微霜莫遣侵鬓绿，从今二十四考书玉局。
但是他在心境上是愤愤不平的。五六年后他曾和周必大说起：
……伏念某箪瓢穷巷，土木残骸，早已孤危，马一鸣而辄斥，晚尤颠沛，龟六铸而不成。羽翮摧伤，风波震荡，薄禄作无穷之祟，虚名结不解之仇。郦生自谓非狂，甚矣见知之寡，韩愈何恃敢傲，若为取怒之深。
陆游回到山阴以后，有时过若耶溪，到云门山游赏，有时也到佛寺道观闲逛。他在家里建筑山亭，但是更多的时间却花费在小园里。在这时期以前，陆游的诗很少谈到田园，现在却把更多的时间花在这里。他有《小园》四首：
小园烟草接邻家，桑柘阴阴一径斜，卧读陶诗未终卷，又乘微雨去锄瓜。
历尽危机歇尽狂，残年惟有付耕桑，麦秋天气朝朝变，蚕月人家处处忙。
村南村北鹁鸪声，水刺新秧漫漫平，行遍天涯千万里，却从邻父学春耕。
少年壮气吞残虏，晚觉丘樊乐事多，骏马宝刀俱一梦，夕阳闲和饭牛歌。
陆游身在乡间，有时也去了解生产劳动，但是他的内心却向往当时的社会活动，他所耿耿不忘的只是对敌作战，收复失地，同时也为自己建立功名。宦途的挫折和山阴的风景都不能动摇他的意志。
九月间他有《书悲》两首：
今日我复悲，坚卧脚踏壁，古来共一死，何至尔寂寂。秋风两京道，上有胡马迹，和戎壮士废，忧国清泪滴。关河入指顾，忠义勇折激，常恐埋山丘，不得委锋镝。立功老无期，建议贱茸职，赖有墨成池，淋漓豁胸臆。
丈夫孰能穷，吐气成虹霓，酿酒东海干，累曲南山齐。平生搴旗手，头白归扶犁，谁知蓬窗梦，中有铁马嘶。何当受诏出，函谷封丸泥，筑城天山北，开府萧关西，万里扫尘烟，三边无鼓鼙。此意恐不遂，月明号荒鸡。
陆游罢官还乡的当中，事实上我们看到两个陆游，一个安心农业生产，还有一个却是志在当世。有时他勉强地把这两个人结合在一起，但是那志在当世的一个陆游，却占着显著的优势。
冬夜不寐至四鼓起作此诗
秦吴万里车辙遍，重到故乡如隔生，岁晚酒边身老大，夜阑枕畔书纵横。残灯无焰穴鼠出，槁叶有声村犬行，八十将军能灭虏，白头吾欲事功名。
陆游对于五六两句很感到兴趣，所以在诗集中用过两次，实际上也确实能够写出荒村寒夜的情况，可是他的精神的寄托，却侧重在最后两句。这一年他才57岁，他却把希望直放到80岁，从这里我们很可看到他那顽强的精神，也的确正有这样的精神，才能支持他直到最后的一日。
十月二十六日的夜间，他梦到当年南郑的生活。过去的事迹在他惺忪的双眼里，重新体现出来，尤其他和猛虎奋斗的一幕，更画出了毛血毵毵的形象。最后他说：
……国家未发渡辽师，落魄人间傍行路，对花把酒学酝藉，空辱诸公诵诗句。即今衰病卧在床，振臂犹思备征戍，南人孰谓不知兵，昔者亡秦楚三户。
在《冬暖》的最后四句是：
……老夫壮气横九州，坐想提兵西海头，万骑吹笳行雪野，玉花乱点黑貂裘。
这一年，浙东发生了普遍的灾荒。右丞相王淮推荐朱熹为提举浙东常平茶盐公事，进行救济的工作。陆游有《寄朱元晦提举》一首：
市聚萧条极，村墟冻馁稠，劝分无积粟，告籴未通流。民望甚饥渴，公行胡滞留？征科得宽否，尚及麦禾秋。
在灾荒的当中，大地主阶级勒掯住他们的仓储，不肯出卖，期待更高的赢利，进行无限制的掠夺。人民为了保障自己的生命，也就必然地要进行暴动。狂风暴雨就要来了，小地主阶级出身的知识分子认为必须缓和阶级矛盾，才能保卫本阶级的利益。朱熹、陆游正站在同一个阶级立场上。这一次的救济，虽然获得部分的成果，但是这一次灾荒的现象，一直继续到次年的春天。
淳熙九年陆游有一篇《书巢记》，刻画他的生活，非常生动。知识分子总是喜欢把自己埋藏在书本的当中，这就是成为书巢。陆游说：
陆子既老且病，犹不置读书，名其室曰书巢。……吾室之内，或栖于椟，或陈于前，或枕藉于床，俯仰四顾，无非书者。吾饮食起居，疾痛呻吟，悲忧愤叹，未尝不与书俱，宾客不至，妻子不觌，而风雨雷雹之变，有不知也。间有意欲起而乱书围之，如积槁枝，或至不得行，则辄自笑曰：“此非吾所谓巢者耶？”乃引客就观之，客始不能入，既入又不能出，乃亦大笑曰：“信乎其似巢也。”
在书巢之中，陆游所读的书，有时完全联系到他自己的生活。最显著的是他的那首《读书》：
读书四更灯欲尽，胸中太华盘千仞，仰呼青天那得闻，穷到白头犹自信。策名委质本为国，岂但空取黄金印，故都即今不忍说，空宫夜夜飞秋磷。士初许身辈稷契，岁晚所立惭廉蔺，正看愤切诡成功，已复雍容托观衅。虽然知人要未易，讵可例轻天下士，君不见长松卧壑困风霜，时来屹立扶明堂。
《书巢记》是九月间作的，《读书》也作于九月，这里正看到陆游是以怎样的精神在那里读书。这首诗指出志同道合的大臣，不能顾全国家的利益，以致一边才有出奇成功的可能，一边却在托词伺候敌人的缺点，不愿作战。最后指出即使在困顿之中，自己还准备为国家立功。
陆游在这首诗里，虽然明显地提到国家的大臣，但是没有指出姓名。结合到具体的情况，很会使我们联想到王炎、虞允文的关系。关于这一点，前面已经提过，用不到再重复。附带地，我们也可以联想到这一次陆游罢斥不用的原因。
南宋前期，主张对敌作战的张浚、张栻父子和陆游等是一条线。虞允文在采石矶一役以作战得名，但是他和张栻的道路是不同的。《宋史·张栻传》指出“虞允文以恢复自任，然所以求者类非其道，意栻素论当与己合，数遣人致殷勤，栻不答”。张栻在孝宗面前，提出必须和女真断绝关系，然后用贤养民，选将帅，练甲兵；他认为必须做出实事，不为虚文，则必胜之形，隐然可见。孝宗对于这个主张，立即同意，并且认为恢复大计，必须完全依照张栻的建议。可是虞允文和他的同乡赵雄都对张栻不满，在他们的协力之下，张栻受到排斥，没有得到重用。
陆游在淳熙六年自福建召还，到衢州奉命改调江西，无须入都；淳熙七年他自江西召还，到严州寿昌县，奉命罢免，无须入都。这两次的事故都发生在赵雄一人独相的时期。这里正看到政治斗争的内幕，同时两次无须入都的指示，也看到赵雄手腕的毒辣，他不给陆游以面对的机会。
从淳熙十年到十二年这三年当中，陆游伏处家乡，但是他的心始终没有能安定下来。对敌作战、收复中原的思想不时地涌现出来。淳熙十年的《军中杂歌》和《秋风曲》都透露出他心坎里的呼声。
秋风曲
秋风吹雨鸣窗纸，壮士不眠推枕起，床头金尽酒樽空，枥马相看泪如洗。鸿门霸上百万师，安西北庭九千里，帐前画角声入云，陇上铁衣光照水。横飞渡辽健如鹘，谈笑不劳投马棰，堂堂羽檄从天下，夜半斫营孱可鄙。拾萤读书定何益，投笔取封当努力，百斤长刀两石弓，饱将两耳听秋风。
“拾萤读书定何益”，陆游真感到这是一场春梦。自己书是读过了，从小住在浙东有名的藏书家，老了还终日埋头在“书巢”里，诗、词、文、史，哪一件落在人后，现在只落得罢官还乡，仍旧把有限的岁月，深深地埋藏在故纸堆的当中，这又算得什么！悔恨的情绪，正和自满的情绪，交织在那首《书生叹》里：
可怜秀才最误计，一生衣食囊中书，声名才出众毁集，中道不复能他图。抱书饿死在空谷，人虽可罪汝亦愚。呜呼，人虽可罪汝亦愚，曼倩岂即贤侏儒！
这一年秋后的《有感》一首，还是从书生的主题上着笔：
书生事业绝堪悲，横得虚名毁亦随，怖惧几成床下伏，艰难何啻剑头炊。贷监河粟元知误，乞慰迟钱更觉痴，已卜一庵鹅鼻谷，可无芝术疗朝饥？
陆游自注：“鹅鼻谷在秦望山，秦刻石之所，崖岭巉峻。”据《嘉泰会稽志》，秦望山在山阴县城东南四十里，“自平地取山顶七里，悬磴孤危，峭路险绝，攀萝扪葛，然后得至。”从这首诗里，我们可看到陆游对于自己的估计。在四川的时候，嘉州知州已经发表了，可是一道命令下来，知嘉州事罢免，主管台州桐柏山崇道观，正如他自己所说的“罪大初闻收郡印，恩深俄许领家山”。现在呢？江西的提举常平茶盐公事丢了，主管成都玉局观，恰巧是“怖惧几成床下伏，艰难何啻剑头炊”。这一切都是为的什么？陆游一时找不到答案。
然而答案是现成的。一切都是为的国家。只要能为国家贡献出一份力量，生也可，死也可，罢官黜责更无所不可。在他想到中原的沦陷，女真部族的纵横和沦陷区人民所受的痛苦，他所恨的只是没有能够更多地和更好地把自己的力量贡献出来，从下列两首诗正可看出：
感愤
今皇神武是周宣，谁赋南征北伐篇，四海一家天历数，两河百郡宋山川。诸公尚守和亲策，志士虚捐少壮年，京洛雪消春又动，永昌陵上草芊芊。
作雪未成，自湖中归，寒甚饮酒作短歌黑云垂到地，飞霰如细砾，我从湖上归，散发醉吹笛。少年志功名，目视无坚敌，惨淡古战场，往往身所历。宁知事大谬，白首犹寂寂，凄凉武侯表，零落陈琳檄。报主知何时，誓死空愤激，天高白日远，有泪无处滴。
在这几天当中，能够给陆游一些安慰的，多半是关于北方动乱的消息。淳熙十一年（1184）有《闻虏酋遁归漠北》、《闻虏政衰乱扫荡有期喜成口号》各一首，十二年《秋夜泊舟亭山下》自注：“闻虏首行帐为壮士所攻，几不免。”陆游所记，一部分是出于传闻之讹，但是更大的部分是出于对敌人情况的不了解。女真的统治者每年都到北方去避暑，这是一件常事，不是“遁归漠北”。这时在北方正是完颜雍统治的年代，这是一位沉着而固执的统治者，他利用了北方部族，坚决地进行对中原人民的压迫。暴力的统治必然会要崩溃的，但是中间还要经历一定的过程，陆游的估计，只是过于乐观的估计。
淳熙十三年的春间带来了新的生活。
赵雄在淳熙八年的秋天解职了，继任的是王淮。十一年六月间，周必大自知枢密院事进枢密使，他更是陆游的朋友。十三年春天，陆游的朝奉大夫、权知严州军州事发表了。朝奉大夫是正五品，官阶进了一级。他在山阴准备过江，到临安朝见。有名的《书愤》诗是这时期创作的：
早岁那知世事艰，中原北望气如山，楼船夜雪瓜洲渡，铁马秋风大散关。塞上长城空自许，镜中衰鬓已先斑，出师一表真名世，千载谁堪伯仲间。
到了临安，住在小楼里听候召见，有《临安春雨初霁》一首：
世味年来薄似纱，谁令骑马客京华，小楼一夜听春雨，深巷明朝卖杏花。矮纸斜行闲作草，晴窗细乳戏分茶，素衣莫起风尘叹，犹及清明可到家。
终于在一夜新雨以后，太阳还没有出来的当中，陆游上朝了。这一次的召见在延和殿。陆游在侍从官的引导之下入宫，他在庭中立定了很久，孝宗才从东厢过来。关于这次召见，他有《延和殿退朝口号两首》，最后说到“莫恨此身衰病去，当时朝士已无多”。陆游初到临安做官在绍兴三十年，短短的26年，人事的变化，已经不可胜记了。
陆游在延和殿的对话虽然没有留下记载来，可是那时进见，都有上朝札子，他的发言提纲在这里提出来。
首先他要求公道，他认为国家行政，必须主张公道，对于这一个政策，在执行中，必须坚决，古代称为“坚凝”。
臣闻善观人之国者无他，惟公道行与否尔。《书》曰：“无虐茕独而畏高明。”
《诗》曰：“柔亦不茹，刚亦不吐。”此为国之要也。若夫虐茕独，畏高明，茹柔吐刚而能使天下治者，自古未之有也。朝廷之体，责大臣宜详，责小臣宜略；郡县之政，治大姓宜详，治小民宜略；赋敛之事，宜先富室，征税之事，宜核大商——是之谓至平，是之谓至公，行之一邑则一邑治，行之一郡则一郡治，行之天下而治不逮于古者，万无是理也。
……荀卿论辟国之说曰：“兼并易能也，坚凝大难。”夫岂独兼并哉，凡为政，施行之甚易，坚凝之甚难，臣区区之言，陛下或以为万有一可采焉，敢并以坚凝为献。
其次他认为必须振作士气，才能应付当前的情势：
……今天下才者众矣，而臣犹有忧者，正以任重道远之气，未能尽及古人也。方无事时，亦何所赖此，一旦或有非常，陛下择群臣使之，假钺而董三军，拥节而谕万里，虽得贤厚笃实之士，气不素养，临事惶遽，心动色变，则其举措，岂不误陛下事耶？伏望万机之余，留神于此，作而起之，毋使委靡，养而成之，毋使沮折，及乎人才争奋，士气日倍，则缓急惟陛下所使而已。且吴、蜀、闽、楚之俗，其浑厚劲朴，固已不及中原矣，若夫日趋于拘窘怯薄之役，臣实惧国势之寖弱也。
最后的一道，他提出对于敌人的估计：
今朝廷内无权家世臣，外无强藩悍将，所虑之变，惟一金虏。虏，禽兽也，谲诈反复，虽其族类，有不能测，而臣窃以为是亦有可必知者。
夫何故？宽猛之相继，如寒暑昼夜之必相代也。故自金虏猖獗以来，靖康、建炎之间，穷凶极暴，则有绍兴之和，通和既久，则有辛巳之寇，寇而败亡，则又有隆兴之和。今边陲晏然，枹鼓不作，逾二十年，与绍兴通和之岁月略相等矣。不知此虏终守和约，至数十百年而终不变耶，将如昼夜寒暑必相待也。且虏非中国比也，无君臣之礼，无骨肉之恩，惟制之以力，劫之以威，则粗能少定。今力惫势削，有乱而已。其乱不起于骨肉相残，则起于权臣专命，又不然，则奸雄袭而取之耳。三者有一焉，反虏酋之政以悦其国人，且何为哉。虽陛下聪明英睿，自有所处，然臣窃观士大夫之私论，则往往幸虏之懦以为安，不知通和已二十余年，如岁且秋矣，而谓衣裘为不必备，岂不殆哉？大抵边境之备，方无事时观之，事事常若有余，一旦有变，乃知不足。伏望陛下与腹心之臣力图大计，宵旰弗怠，缮修兵备，搜拔人才，明号令，信赏罚，常如羽书狎至、兵锋已交之日，使虏果有变，大则扫清燕代，复列圣之仇，次则平定河洛，慰父老之望，岂可复如辛巳仓卒之际，敛兵保江，凛然更以宗社为忧耶？
从这三篇札子，我们可以看到陆游的政治主张。陆游出身于小地主的家庭，在当时是比较进步的，因此他要求缓和阶级矛盾，所以说“赋敛之事，宜先富室，征税之事，宜核大商”。当然，他也会考虑到本身的利益，但是这样的做法，对于社会还是有利的。他对于敌人的估计，也是相当正确的，显然他已经看到女真的不断腐朽，其结果必然是不乱即亡。他认为敌人的结束，必然出于三条路，可是他还没有看到不久以后，北方会出现一个新兴的部族，把女真的统治一扫而尽，不幸的是在扫清女真统治者以后，也把南宋的统治者，一同扫光。陆游所在的时代和地位，不可能使他知道这些，可是在他对于女真做出估计的同时，要求南宋统治者做好准备，“力图大计，宵旰弗怠”，这是完全正确的。
陆游陛辞的时候，孝宗和他说起：“严陵，山水胜处，职事之暇，可以赋咏自适。”事实上，孝宗还是只把陆游作为一位诗人。
延和殿的召见在清明时节，到严州上任，还可以迟到七月，因此陆游有更多的时间在临安和山阴盘桓。
在临安时一同盘桓的有张镃、杨万里。张镃字功父，南宋初年大将张俊的孙子，是一位贵公子，能诗能词，生活的豪华，在当时是有名的。一次他约陆游会饮，陆游在扇中题诗一首：
寒食清明数日中，西园春事又匆匆，梅花自避新桃李，不为高楼一笛风。
事实上他和张镃的关系是不深的。
杨万里字廷秀，江西吉水人，学者又称为诚斋先生。从思想体系讲，万里和陆游都是胡安国的再传弟子，因此他们尽有可以相通之处，但是他们的生活作风是不同的，一位号为诚斋，一位号为放翁，这里正可以看出他们中间的距离。不过万里虽然是一位理学家，可是富于幽默感，因此也冲淡了理学的沉闷，而陆游在国家大事方面，他的态度却是认真严肃的。
南宋前期的诗人，共推尤袤、杨万里、范成大、陆游四家，称为“尤杨范陆”。四人之中，尤袤的诗篇所存无几，范成大的诗，从才力方面谈，也不是杨万里、陆游的敌手，因此在这个时期，杨万里和陆游是两位成就最大、声望相敌的诗人。万里在政治立场上主张对外作战，和张栻关系很深，这一切都使他和陆游接近起来。淳熙十二年五月，因为地震，孝宗循例下诏，要臣下直言，杨万里就提出要孝宗“勿矜圣德之崇高而增其所未能，勿恃中国之生聚而严其所未备，勿以天地之变异为适然而法宣王之惧灾，勿以臣下之苦言为逆耳而体太宗之导谏，勿以女谒近习之害政为细故而监汉唐季世致乱之由，勿以戎狄仇雠之包藏为无他而惩宣政晚年受祸之酷。”他又说及“以重蜀之心而重荆襄，使东西形势之相接，以保江之心而保两淮，使表里唇齿之相依，勿以海道为无虞，勿以大江为可恃。”
从一切方面看出，杨万里和陆游是有共同的立场的。这时万里恰恰也在临安，担任着左司郎中的任务。
陆游有《简杨廷秀》一首：
过白日，悠悠良自欺，未成千古事，易满百年期。黄卷闲多味，红尘老不宜，相逢又轻别，此恨定谁知。
万里的答复是一首《和陆务观惠五言》：
官缚春无分，髯疏雪更欺，云间随词客，事外得心期。我老诗全退，君才句总宜，一生非浪苦，酱瓿会相知。
万里还有两首《云龙歌》，当然是指两人的关系，带有挑战的意味，录一首：
墨池杨子云，云间陆士龙，天憎二子巧言语，只遣相别无相逢。长安市上忽再值，向来一别三千岁。王母桃花落几番，北斗柄烂银河干，双鬓成丝丝似雪，两翁对面面如丹。借问别来各何向，渭水东流我西上，金印头大直几钱，锦囊山齐今几篇。诗家不愁吟不彻，只愁天地无风月。君不见汉家平津侯，东阁冠盖如云浮？又不见当时大将军，公卿雅拜如星奔？只今云散星亦散，也无鹿登台榭羊登坟。何时与君上庐阜，都将砚水供瀑布，磨镰更斫扶桑树，捣皮作纸裁烟雾，云锦天机织诗句。孤山海裳今已开，上巳未有游人来，与君火急到一回，一杯一杯复一杯。管他玉山颓不颓，诗名于我何有哉！
他们曾经一同游过张氏花园，赏海棠，也曾游过天竺。杨万里集中留下很多诗，不过陆游集中留下的却不多。
陆游回到山阴以后，七月间到严州赴任。在到任谢表里提到：
乘传来归，两奉召还之旨，怀章欲上，亟蒙趣对之荣。亲降玉旨，俯怜雪鬓，慰其久别，盖宠嘉近侍之所宜，勉以属文，实临遣使臣之未有。
陆游对于孝宗，不能没有一些知己之感，可是孝宗对于陆游，始终只把他当作一位诗人，从早年周必大所提出的“小李白”之称，直到这一年“职事之暇，可以赋咏自适”，其实出于同一思想来源。
严州是临安西南的一个大州，陆游的高祖父陆轸，一百四十年以前，曾在这里做过知州，现在陆游又来了，这件事当然会给他一些好感。可是到了严州以后，公事多，诉讼更多，山上的樵歌呜呜咽咽地在那里哭诉，酒味甜得和糖粥一样，这一切很快地把陆游搞腻了，有《秋怀》一首：
少时本愿守坟墓，读书射猎毕此生，断蓬遇风不自觉，偶入戎幕从西征。朝看十万阅武罢，暮驰三百巡边行，马蹄度陇雹声急，士甲照日波光明。兴怀徒寄广武汉，薄福不挂云台名，颔须白尽愈落莫，始读法律亲笞榜。讼氓满庭闹如市，吏牍围坐高于城，未嫌樵唱作野哭，最怕甜酒倾稀饧。平生养气颇自许，虽老尚可吞司并，何时拥马横戈去，聊为君王护北平。
这样也就使他回忆到南郑的生活。这是一个摆不脱的梦，只要陆游有一些感触，随即会回想到南郑：
行省当年驻陇头，腐儒随牒亦西游，千艘冲雪鱼关晓，万灶连云骆谷秋。天道难知胡更炽，神州未复士堪羞，会须沥血书封事，请报天家九世仇。
淳熙十四年（1187）二月，周必大的右丞相发表了，这是旧时的朋友，陆游对他当然抱有一番希望，但是在陆游的眼光里，他也看到国家正在走上文恬武嬉的道路，前途实在是不能乐观的。他在《贺周丞相启》里说：
窃以时玩久安，辄生天下之患，国无远略，必有意外之虞。方今风俗未淳，名节弗励，仁圣焦劳于上，而士夫无宿道向方之实；法度修明于内，而郡县无赴功趋事之风；边防寖弛于通和，民力坐穷于列戍，每静观于大势，惧难待于非常。至若靖康丧乱而遗平城之忧，绍兴权宜而蒙渭桥之耻，高庙有盗环之逋寇，乾陵有斧柏之逆俦；江淮一隅，夫岂仗卫久留之地；梁益万里，未闻腹心不贰之臣；文恬武嬉，戈朽钺钝，谓宜博采众谋之同异，然后上咨庙论之崇严。
陆游的心境是不能平静的。北方的中原沉沦在敌人手里；南方呢，正在慢慢地不可救药地一天天腐朽下去，自己是有一腔抱负的，但是这有什么用呢？对于国家起不到一点作用。
春天的夜晚，陆游睡不成了。他到高台上去张望了一下，四围都是山，阴黑沉沉的。因为这座高台上边盖了一架屋顶，古代人称它为“榭”，起名叫“千峰榭”。陆游在千峰榭上徘徊，作诗一首：
夜登千峰榭
夷甫诸人骨作尘，至今黄屋尚东巡，度兵大岘非无策，收泣新亭要有人。薄酒不浇胸垒块，壮图空负胆轮囷，危楼插斗山衔月，徙倚长歌一怆神。
在官衙的鼓角声中，陆游又想起国家的大事：
闻鼓角感怀
鼓坎坎，角呜呜，四鼓欲尽五鼓初，老眼不寐如鳏鱼，抚枕起坐涕泗濡。平生空读万卷书，白首不识承明庐，时多通材臣腐儒，妄怀孤忠策则疏。欲剖丹心奏公车，论罪万死尚有余，雷霆愿复宽须臾，许臣指陈舆地图。亿万遗民望来苏，艺祖有命行天诛，皇明如日讵敢诬，拜手乞赐丈二殳。中原烟尘一扫除，龙舟溯汴还东都。
这一年的秋天，陆游的情绪又遭到了一些打击。从四川下来的时候，带来了一位成都的少女，这是杨氏。在陆游到任以后的八月，生了一个女孩。因为这一年闰七月，取名闰娘；又因为严州古代又称新定，所以也名定娘。陆游一共有六个男孩，最小的这年已10岁了，因此他对于这个小女孩，特别地钟爱，有时只称为“女女”。十四年的八月，这个一岁的“女女”死了，陆游哭得非常地伤心，把眼泪洒向这具小的棺木里去。
白发苍苍的陆游抚着棺木说：“让我的眼泪给‘女女’殉葬吧。”
严州的后衙里大家一齐都号啕了。
消极的心理对于陆游又是一阵袭击。灰色的人生还有什么值得留恋。八月里作《思故山赋》：
今予年过六十，血气已索，春忧重膇，秋畏瘅疟，饮不醮觚，食不加勺，衣食之奉，减于市药。虽富贵而孰享，矧刑祸之可愕，冒平地之涛澜，忽闯首之蛟鳄。以吾真之至贵，就华缨而自缚，旌摇摇而靡定，舟泛泛而安泊。逝将归而即汝，尚农圃之可学，指白首以为盟，挽天河以自濯。冀晨舂之相闻，亦社酒之共醵，春原出而耦耕，秋场筑而偕获。仆之念归，如寒鱼之欲就箔也。
十月间的寒风里，德寿宫里的太上皇死了，后人称为高宗。高宗建炎元年称帝，做了36年皇帝，25年太上皇，终于在81岁的高龄，死在临安的宫中。父母为敌人所俘虏，中原为敌人所沦陷，高宗赵构的心中，不可能不感到一些痛愤，甚至也会起发愤图强报仇雪耻的念头。对敌作战，给打击者以打击，这个念头是和广大人民的要求符合的。高宗初年所以获得爱国人士的拥护，其故在此。可是正由于他的怯懦，他的不敢再冒被俘的思想，甚至不愿让哥哥赵桓从敌人的掌握下，重行回国，和自己争取小朝廷的帝位，他终于认贼作父，对敌屈服，出卖了北方，承认女真对于中原的统治，同时又出卖了南方，每年对于女真还要输送沉重的岁币。高宗这就成为史无前例的出卖民族国家的统治者。在他退位以后，孝宗继承了统治权，应当可以有所作为了。符离之战，虽然只以失败而告终，但是当时北方广大地区的人民还在盼望南宋大军的向北推进。
可是在这个当中，德寿宫的力量出现了。隆兴元年的试探和议，其中正看到太上皇干政的行动。从隆兴到乾道，从乾道到淳熙，我们不能说孝宗完全放弃了对敌作战的意图，但是在德寿宫的阴影之下，孝宗的意志逐步消沉了。《宋史·孝宗本纪赞》说他“即位之初，锐志恢复，符离邂逅失利，重违高宗之命，不轻出师”，对于孝宗的本心，是有一定的体会的。
有一点应引起注意的：陆游在诗稿中对于许多事都留下记载，偏偏对于高宗的死亡，没有留下诗篇，是不是他也写了一些，但是没有留稿，或者竟是故意把这件事抛开呢？
陆游在严州的当中，对于《剑南诗稿》曾经来过一次严格的删定。他在绍熙元年（1190）曾留下这样一段记载：
此予丙戌以前诗二十之一也。及在严州，再编，又去十之九。然此残稿，终亦惜之，乃以付子聿。绍熙改元立夏日书。
丙戌是乾道二年（1166），陆游42岁。《剑南诗稿》卷一尚存1165年以前之诗94首。机械地计算，陆游在42岁以前，共作诗18800首，陆游删定为940首。严州任内，再由940首删定为94首。这个940首的残本在1190年还是存在的，交给幼子陆子聿，但是后来也丧失了，现在所看到的42岁以前之诗只94首。
大量的诗曾被删除，那么去取的标准是按照什么呢？毫无疑问的这个标准是按照乾道二年陆游逐步发展的标准，尤其是他在严州任内巩固下来的标准决定的。因此尽管陆游在42岁以前，已经是一位有名的诗人，曾经写过大量的诗，但是从他留存的诗看来，他早年的作品，和他中年（乾道至严州任内）的作品，基本上是一致的，而和他自己所说的“我昔学诗未有得，残余未免从人乞”，“我初学诗日，但欲工藻绘”不很吻合，因为他所不重视的这些诗篇，都在严州删定的当中被他汰除了。是不是他完全否定这些诗篇呢？我们看到他在绍熙元年把这940首的残本，重行收拾，交付子聿，也可以见到他是如何地眷恋。
在删诗这一年有《示桑甥十韵》可以看到这时期中他对于诗的认识。桑甥名世昌，是陆游的女婿：
好诗如灵丹，不杂膻荤肠，子诚欲得之，洁斋祓不祥。食饮屑白玉，沐浴春兰芳，蛟龙起久蛰，鸿鹄参高翔。纵横开武库，浩荡发太仓，大巧谢雕琢，至刚反摧藏。一技均道妙，佻心谁能当，结缨与易箦，至死犹自强。《东山》、《七月》篇，万古真文章，天下有精识，吾言岂荒唐。
从这首诗里，我们也可见到陆游的主张。“一技均道妙，佻心谁能当，结缨与易箦，至死犹自强”，他对于诗的认识，正是异常的重视，而他对于人生的态度，也是极端的坚强。63岁的高龄，僻居在这座小小的山城里，坐看中原的沦陷，统治者的腐朽，自己无法伸出一臂为国家收复失地，为自己建立功名，这是何等的痛苦。他在诗中也说：
东园日淡云容薄，纶巾朝暮阑干角，北风动地万木号，不料一寒如此恶，岂惟半夜雨打窗，便恐明朝雪平壑。绿酒虽漓亦复醉，皂貂已弊犹堪著，所嗟此身老益穷，蹭蹬无功上麟阁，久从渔艇寄江湖，坐看胡尘暗幽朔。万鞭枯胔愤未平，纛下老酋何足缚，要及今年堕指寒，夜拥雕戈度穷漠。
淳熙十三年春天，陆游的权知严州发表，到十五年已经将近三年了。陆游对于严州的生活也感到乏味，在这年四月间，上了乞祠禄的札子。他指出虽然三年任满，为期不远，但是自己“年龄衰迈，气血凋耗，夏秋之际，痼疾多作，欲望钧慈特赐矜悯，许令复就玉局微禄，养痾故山，及天气尚凉，早得就道”。
这
一次的请求，得到批准还乡，七月间陆游回到山阴。
到了山阴以后，陆游随即上书，请求给予祠禄，他准备不再做行政官了。这不是政治热情的衰退，而是他感到一种更迫切的要求，因为在行政职务上无法实现他的愿望，他不得不请求退职。他在《秋夜有感》里说起：
即今故山归，愈叹老境逼，不眠中夜起，仰视星历历。中原何时定，铜驼卧荆棘，灭胡恨无人，有复不易识。
有时他在半夜起来，在庭中独步，就这样度过了茫茫的一夜。他悲愤极了，作一首《感愤》诗，第二天的晚间再作一首《反感愤》诗，安慰自己。感愤也好，反感愤也好，他的主导思想在于如何和敌人作战。从下面这首诗可以看得清楚：
夜读兵书
八月风雨夕，千载孙吴书，老病虽惫甚，壮气颇有余。长缨果可请，上马不踌躇，岂惟鏖皋兰，直欲封狼居。万乘久巡狩，两京尽丘墟，此职在臣子，忧愧何时摅？南郑筑坛场，隆中顾草庐，邂逅未可知，旄头方扫除。
陆游以韩信、诸葛亮自比，但是当时的客观情势，不容许他有建功立业的机会。政治上的无穷尽的斗争，更引起他的痛苦。他在这段时期曾经指出：
怒嗔不复有端绪，谗谤何曾容辨说？
誓墓那因一怀祖，人间处处是危机。
更事天公终赏识，欺人鬼子漫纵横。道边尘起频障扇，门外波清剩濯缨。
我归亦何有，养气犹轩昂，那因五斗陈，坐变百炼刚。
可是这一切并没有能够摧毁他的斗志。他说出：
北望
北望中原泪满巾，黄旗空想渡河津，丈夫穷死由来事，要是江南有此人。
意志是屈服不了的。陆游始终是在等待着对外作战的机会。
事实上孝宗始终也在设法起用陆游。十月二十六日，他给右丞相周必大一道手谕。他说起想用陆游做郎中官，惟恐外间啧有烦言，为了避免议论起见，可以先给他一个少监。在这一点上，他征求必大的同意。
周必大是陆游的朋友，但是他官做大了，顾虑也多。他在回奏中谈起，曾经和两位参知政事商议，都说陆游严州任满已经多日，不知道皇上准备怎样差遣。皇上既然赏识陆游的才干，一般的意见，觉得如若给他一个闲官，例如驾部郎中之类，正可见出皇上爱才之意。外间议论，一时也难于揣测，为了免除浮言，目前给他外任，亦无不可；倘使皇上有意用作少监，恰好军器少监李祥正在请求外放，不妨就着陆游接替李祥的职务。
周必大的话说得很宛转，可是却给陆游留下一个入京供职的机会。不久以后，他的军器少监发表了。陆游再到临安，有诗一首：
初到行在
六十之年又四年，也骑瘦马趁朝天，首阳柱下孰工拙，从事督邮俱圣贤。笔墨有时闲作戏，功名到底是无缘，都城处处园林好，不许山翁醉放颠。
陆游再到临安，感觉到有些拘束，好在临安城中，朋友多，闲谈的机会也多。谭季壬是他在四川遇到的朋友，现在恰在这里，在唱和中，也有一些愉快。
陆游有一首纵谈鬼神的诗，正看到他们在工作的后面，有比较轻松的生活。
致斋监中夜与同官纵谈鬼神效宛陵先生体五客围一炉，夜语穷幻怪，或夸雷可斫，或笑鬼可卖，或陈混沌初，或及世界坏，或言修罗战，百万起睚眦。余谈恣搜抉，所出杂细大；风云堕皮帻，幽坎窥铁械，群号起古聚，孤泣出空廨，妖狐冠髑髅，掩袂弄姿态，空伏逸囚，夜半出窃嘬。虽云多闻益，颇犯绮语戒，不如姑置之，投枕休困惫，明当挂朝衣，仆仆愁亟拜。
当然这些只是他们中间的一些无稽之谈，但是这里也看到南宋人的风气。我们不是在《清平山堂话本》里看到《西湖三塔记》、《陈巡检梅岭失妻记》，在《醒世恒言》里看到《小水湾天狐遗书》么？这些都是宋人传下来的故事。大约陆游和朋友们谈的也是这一类的故事。
可是陆游的态度，基本上还是严肃的。十一月间，他在一篇《跋吴梦予诗编》里就曾说道：
君子之学，盖将尧舜其君民，若乃放逐憔悴，娱悲舒忧，为风为骚，亦文之不幸也。……穷当益坚，老当益壮，大丈夫盖棺事乃定。君子之学，尧舜其君民，余之所望于朋友也。娱悲舒忧，为风为骚而已，岂余之所望于朋友哉。
第二年是淳熙十六年，是孝宗改元以后的27年，也是他在位的最后一年。二月二日传位给太子赵惇，后来称为光宗。孝宗这时已经63岁了，对于政治生活，感觉到着实厌倦，因此亟于传位，退居重华宫，上尊号为至尊寿圣皇帝。孝宗有志对外作战，收复沦陷区，但是因为客观情势的不利，主观努力也不够，在对外的关系上虽然获得部分的改善，对女真称侄不称臣，名义不同，可是基本上没有改进，沦陷区还是继续沦陷，对金的岁币还是继续支付，南北两部分的人民依然处在水深火热之中。现在他把国事交给光宗，给自己保留一些悠闲的岁月。
光宗这时已经43岁了，在能力上他比他的父亲差得很远，可是孝宗处在太上皇的地位，对于光宗也还保留着一份指导的力量。陆游在这一年有上殿札子四道。第一道是在光宗即位后上陈的，指出上有太上皇，必须格外慎重：
譬如臣民之家，上有尊亲，则所以交四邻，训子弟，备饥馑，御盗贼，比之他人，自当谨戒百倍。何则？彼亦惧忧之及其亲也。
在第二道里，他更极力警告光宗，不要有所偏好。他说：
大抵危乱之根本，谗巧之机芽，奸邪之罅隙，皆缘所好而生。臣下虽有所偏好，而或未至大害者，无奉之者也。人君则不然，丝毫之念，形于中心，虽未尝以告人，而九州四海，已悉向之矣。况发于命令，见于事为乎？且嗜好之为害，不独声色狗马宫室宝玉之类也，好儒生而不得真，则张禹之徒，足以为乱阶，好文士而不责实，则韦渠牟之徒，足以败君德，其他可推而知矣。昔者汉文帝及我仁宗皇帝所以为万世帝王之师者，惟无所嗜好而已。恭惟陛下龙飞御极之初，天下倾耳拭目之时，所当戒者，惟嗜好而已。
光宗即位之初，在政治上还没有出现偏差，因此四月间，陆游再上札子，特别提出“故臣愿陛下图事揆策不厌于从容，行赏议罚无取于快意，兢兢业业常如此，三月之间，则成康文景之盛，复见于今日矣”。他对光宗的告诫，可算是叮咛备至，可是还没有接触到根本性的问题。
南宋政局的根本性问题，在于对人民的剥削太重。北方已经沦陷，南方的人民除了担负对于女真的繁重岁币以外，还得养活为数庞大的政治人员和军事人员。不仅如此，因为高级官吏和大地主基本上获得免税的权利，于是一切的负担都落到小有产者和贫雇农身上。这是一个非常严重的问题，这个问题不解决，便无法获得全国上下的团结，在对外关系上，因此也必然处在劣势的地位。陆游看到这一点，因此在第四道札子上痛切地说道：
……臣伏观今日之患，莫大于民贫，救民之贫莫先于轻赋。若赋不加轻，别求他术，则用力虽多，终必无益，立法虽备，终必不行。以臣愚计之，朝廷若未有深入远讨，犁庭扫穴之意，能于用度之间，事事裁损，陛下又躬节俭以励风俗，则赋于民者，必有可轻之理。缓急之备，固不可无，姑以岁月徐为之可也。……臣昧死欲望圣慈恢大度，明远略，诏辅臣计司，博尽论议，量入而用，量用而取，可蠲者蠲，可省者省，富藏于民，何异府库，果有非常，孰不乐输以报君父沦肌浃髓之恩哉？若有事之时，既竭其财矣，幸而无事，又曰“储积以为他日之备也”，虽恢复中原，又将曰“边境日广矣，屯戍日众矣”，则斯民困弊，何时而已耶！
这一道札子是四月十二日上奏的。四月二十六日，陆游以礼部郎中、兼膳部检察发表了。
这时他在临安，住在砖街巷街南小宅。
陆游的起用和周必大的入相有关，可是这一年五月周必大罢相了，继起入相的是留正，和陆游没有深切的关系，因此陆游在政治上失去了必要的倚靠。
这一年的冬间，修高宗实录，光宗命群臣齐集文华阁，进行撰述，陆游以第一名入选。
十一月二十四日陆游作《明州育王山买田记》，题衔为“朝议大夫尚书礼部郎中、兼实录院检讨官”。在作记的时候，他还没有什么预感，可是四天以后，因为谏官提出“陆游前后屡遭白简，所至有污秽之迹”，光宗下诏，把陆游的现任官罢免了。绍熙二年（1191）陆游作《建宁府尊胜院佛殿记》，题衔为中奉大夫、提举建宁府武夷山冲祐观，这是他在行政官罢免以后所得的祠官。
关于这一次的罢官，陆游曾有小诗两首：
予十年间两坐斥罪，虽擢发莫数而诗为首，谓之嘲咏风月。既还山，遂以风月名小轩，且作绝句扁舟又向镜中行，小草清诗取次成，放逐尚非余子比，清风明月入台评。
绿蔬丹果荐瓢尊，身寄城南禹会村，连坐频年到风月，固应无客到吾门。
罢官的命令已下，陆游正在准备还家的当中，杨万里的儿子长孺来看他，陆游提出自己对于时局的看法，同时也指出他对于诗的认识。他的诗是从江西诗派入手的，但是自从入蜀以后，已经摸索到自己的道路，所以这一次的言论，是他的创作道路上的一个里程碑。
次韵和杨伯子主簿见赠
斋戒叩头笺天公，幸矣使我为枯蓬，枯蓬于世百无用，始得旷快乘秋风。此身安往失贫贱，白发萧萧对黄卷，今人虽邻有不觌，古人却向书中见。猿啼月落青山空，旧隐梦寂思东蒙，不愿峨冠寺墀下，且可短剑红尘中。终年无人问“良苦”，眼望青天惟自许，可怜对酒不敢豪，它日空浇坟上土。文章最忌百家衣，火龙黼黻世不知，谁能养气塞天地，吐出自足成虹霓。渡江诸贤骨已朽，老夫亦将正丘首，杜郎苦瘦帽擫耳，程子久贫衣露肘。君复作意寻齐盟，岂知衰懦畏后生，大篇一读我起立，喜君得法从家庭。鲲鹏自有天池著，谁谓太狂须束缚，大机大用君已传，那遣老夫安注脚。
陆游对于杨伯子、杜兴、程有徽的推重，当然是太高了，可是他指出诗文最忌“百家衣”，惟有养气有得，才能充塞天地，这和他《跋吴梦予诗编》的理论是完全一致的。他对于杨万里的诗，也指出他的推崇。
