建武十三年（公元37年）春，刘秀趁沐休之日携阴丽华母子外出打猎，车驾夜里返回，至上东门，上东门侯乃是汝南人郅恽，郅恽拒绝开门。刘秀命万福海从门缝间与郅恽见面，郅恽说：“火明辽远，看不清。”遂再予以拒之。
刘秀当时颇是不悦，欲当场处置郅恽，阴丽华却劝道：“上东门侯亦是尽职尽责罢了，非刻意为之。京畿重地，本该严加防范，万分谨慎，倘若居心叵测之人冒天子之讳轻易进至城中而行不轨之事，如此，上东门侯便是罪该万死。”
刘秀一想，正是此理，只好返回，从东中门进城。可是，东中门侯一听是刘秀，又见了万福海，二话不说便打开城门，迎其入内。
第二日，郅恽竟上书规劝说：“昔文王不敢于游田，以万民惟正之供。而陛下远猎山林，夜以继昼，其如社稷宗庙何！”
奏章呈上后，刘秀赏赐郅恽一百匹布，贬逐东中门候当参封县尉。
二月，朱祐奏曰：“古者人臣受封，非直系族人，不加王爵。”
二十七日，刘秀下诏，长沙王刘兴、真定王刘得、河间王刘邵、中山王刘茂，都降爵为侯。丁巳（二十八日），改封赵王刘良为赵公，太原王刘章为齐公，鲁王刘兴为鲁公。这时，刘氏皇族以及原封国撤销而由后世继承爵位的，共一百三十七人。富平侯张纯，是张安世的四世孙，曾经历王莽时代，因敦厚谨慎守法而能保全爵位。建武初年，张纯先来归附，照旧为侯。随后以绍嘉公孔安为宋公，承休公姬常为卫公。
三月十二日，刘秀任命沛郡太守韩歆当大司徒。十七日，代理大司空职务的马成又担任杨武将军。
这时，吴汉从蜀地整军返回，到达宛城。刘秀下诏，准许他到家乡祭祀祖坟，赐谷二万斛。夏季，四月，吴汉回到洛阳。
自王莽地皇三年(公元22年)十月,刘縯、刘秀起兵舂陵,与新市、平林会师,从那时起,直至建武十三年(公元37年)四月,大司马吴汉自蜀郡还师为止,前后十几年的岁月,刘秀戎马倥偬,久在兵间,厌心武事,且知战乱灾荒,天下疲耗,益欲与民生养歇息。于是,大飨将士,班策书勋。功臣增邑更封三百六十五人,外戚恩泽受封四十五人。罢左右将军官,收大将军耿弇印绶。二十二岁的耿弇在刘秀即位之初被拜为建威大将军,近10年时间,平郡四十六,攻城三百,未尝受过挫折。罢免耿弇的大将军职,以列侯身份就第奉朝请，陇蜀悉平,除了对交趾、南蛮等地用兵外,非遇急警,刘秀不谈兵事，刘秀偃武思文的志向由此可见端倪。
皇太子刘强，年已十三岁,常在帝侧,有时问及攻战方略,刘秀正色道:“从前卫灵公问战阵,孔子不对答,此事非你所宜问。”
邓禹、贾复知道刘秀决定放下武器，用礼乐教化进行统治，不愿功臣们身在洛阳而拥有重兵，于是二人交出军权，潜心研究儒家经典。刘秀也考虑到功臣们今后的去向，想保全他们的爵位和封地，不让他们因为职务而有过失，便让他们以侯爵的身份离开朝廷，回到自己的宅第，随后被加以特进之衔，定期参加朝会。
邓禹性格敦厚，有十三个儿子，让他们各自研习一种技能。他治家的严谨，对子孙的教育，都可以作为后世效法的榜样。家里的开支取自封地的收入，不从其他产业营利。
贾复刚毅正直，有大节。回到宅第以后，关起门来修身养性。朱祜等举荐贾复，认为他适宜做宰相，而刘秀正责成三公整顿官吏制度，所以一律不任用功臣。这时，侯爵中只有高密侯邓禹、固始侯李通、胶东侯贾复三人和三公九卿一起议论国家大事，恩宠特别深厚。刘秀虽然控制功臣，但往往能维护包容他们，原谅他们的小过失。远方进贡珍味美食，一定先赏赐所有诸侯，而太官都没有多余的，因此功臣全都保持他们的爵位财产，没有被诛杀或谴退的。比起那些飞鸟尽，良弓藏；狡兔死，走狗烹；敌国灭，谋臣忘；功盖天下者不赏，声名震主者身败，刘秀如此，可见其胸怀坦荡，博大仁爱。
益州把公孙述的盲人乐师、祭祀用的乐器、用五采羽毛编成篷盖的车，以及帝王后妃专用的各种车辆等，送到洛阳，于是帝王仪伏所用的器物才开始完备。当时战事已经平息，天下少事，各种公文的往来和差役的调遣，力求从简从少，只有从前的十分之一。
阴丽华于建武十一年四月生下刘中礼，建武十二年八月刘红夫，如今又怀上了。真是几家欢喜几家愁。
她自个儿是怀了一个又一个，可当初她应了向美人的话，她一直没有付诸行动，她不知该如何帮，向刘秀开口说她又说不出，可应了别人却无所作为，况且对方无论是对她还是对她的儿女都尤其的好，故每次见到向美人，阴丽华都难免心怀愧意。这会，她不正愧疚地看着尽情逗弄小儿的向美人。
阴丽华看得久了，向美人又怎会不察觉到，她觉得也是时候坦言了。她起身，走到阴丽华跟前，说：“你的目光令我甚不自在。”
阴丽华莞尔，“一时情难自控。”
“一切我皆明白。坦白而言，初时，我一直满心期盼，对你迟迟无所作为亦难免有所微词，然这两年，我看得分明，陛下对您可谓专宠，用情至深，即便你有所作为，亦是徒劳，反倒会伤了陛下的心，得不偿失。实不相瞒，我早已看开，亦已放下。如今，我有你如此之知己，又有阳儿几个环绕膝下，我心已足矣，我往后只求我们一切安好，你与陛下恩爱到老。”向美人素来是个聪明的，自知有些事不可为，若是不可为而为之，最终只会伤人伤己，如今这样，她真觉得挺好的。
阴丽华没想到向美人会说出这样一番话，见她言辞恳切，心知向美人没有虚言，心也就放下了。
