公元716年，经过了一系列改革之后，长安城再次焕发生机。面对如此情景，李隆基自然是喜上眉梢。宰相姚崇也当仁不让地成为了他的头号功臣。历经三年的时间，李隆基越发地倚重姚崇，这种倚重已经到了离不开姚崇的地步。为了能随时找到姚崇商量国家大事，李隆基甚至把姚崇的家搬到离皇宫很近的地方。对于这份深厚的君臣感情，有时候也会让冷静下来的李隆基心里不由自主地犯嘀咕。他越是器重姚崇，姚崇手中的权力也就越大；姚崇手中的权力越大，在朝野之中说话分量也就越重。就此发展下去，说不定哪一天，也许姚崇真的会对皇权构成威胁。这是李隆基绝对不能容忍的事情。不过，话又说回来，姚崇工作做得好，也没办过什么错事，可能这又是自己疑心病在发作吧。在这样安慰自己一番过后，李隆基还是不能完全放心。而接下来发生的一件小事，也让李隆基的疑心越来越重了。大凡官场，难免不会出现各种小团体。武将们会有一批死忠自己的部下，跟着将军出生入死；文官则会培养自己的门生，或者好朋友之间互相举荐，又或者按照地区和出身拉帮结派。
对于这些情况李隆基也是可以理解的，只要武将小团体不造反，文官小团体不祸国，他都想睁一只眼闭一只眼，就这么过去算啦。但凡事都要有个限度，如果这些小团体闹到他的面前，那可就别怪李隆基不客气了。宰相姚崇自然也会有自己的亲信和门生，在这些亲信和门生里，有一个叫赵诲的文书是他面前最红的人。赵诲负责的是一些文书工作，为人机灵。聪明人都喜欢聪明人，这让姚崇对赵诲青眼有加。赵诲把自己的分内之事做得有声有色，可以说，单从业务上讲那可真是没什么挑的。不过这个人人品上有点小毛病——贪财。君子爱财取之以道，如果赵诲只是爱财，吝啬些，这不算什么危险，但这个人太贪了，竟然收受胡人的贿赂。事情严重了，有人揭发上告，李隆基亲自审理案件，宣布赵诲下狱。小官收了点小钱，惊动了最高统治者，不论谁来看，这件事都有点小题大做。官场老油条们看出了门道，皇帝这不是审理赵诲，这是在杀鸡儆猴，警告姚崇。常言说，聪明一世糊涂一时，姚崇的智商，在唐朝宰相中数一数二。但聪明人总有糊涂的时候，听说赵诲下狱，姚崇竟然跑到李隆基面前求情去了。
姚崇难得天真一次，他认为，赵诲犯的不是什么大错误，自己开了口，皇帝总不好意思拒绝吧？李隆基自有李隆基的打算，他惩治赵诲，就是想查看姚崇有没有在朝臣中拉帮结派的意思，结果姚崇竟然真的来为一个小官求情，正撞到李隆基张好的网上。李隆基一言不发，姚崇还在求情。求情的结果很快出来了，当时长安大赦，在大赦诏书中，李隆基特别强调，赦免的人不包括赵诲。此外，李隆基特别“关照”赵诲，打了他一百仗，流放到岭南。这待遇，都赶得上结交亲王的罪臣了。姚崇终于清醒了，皇帝不是在打赵诲板子，是在警告他不要和皇权叫板。姚崇终于后悔了，人人都知道丢卒保帅，他姚崇竟然犯了决定性错误，为了一个小卒输了一盘棋。这盘棋输了，就没有从头下的机会了。朝廷已经稳定，皇帝对他的重用也该到头了。救时宰相收拾了赵诲之后，李隆基却没有给姚崇任何异样脸色，依然摆出一副“离不开姚爱卿”的样子。虽然李隆基没对他施过什么压力，不过姚崇还是知道，皇帝这是在摆样子。经过几年的政治实践，如今的李隆基已经成为一个非常成熟的帝王了。在平时他既不会对大臣暴跳如雷，也不会跟这些人推心置腹。
他渐渐地变成了一个深不可测的好老板，用人的时候绝对不会亏待，当不再需要某个人时，他也会尽量顾及对方的感受，给对方留足面子。他知道，像姚崇这样的大功臣，如果就这样把他主动辞退的话，那样会让其他朝臣寒心。现在只有等到姚崇方面主动辞职，双方都给对方找个台阶下，今后才能和平共处，未来的工作也才能得到良好的延续。李隆基更能肯定的是，像姚崇那么聪明的人，一定会了解老板的意图。果不其然，没过几天，姚崇就把写好的辞呈递了上来。李隆基拿着这份辞呈是看了又看，在这份辞呈中，姚崇不但主动要求辞职，连接替他的人都替李隆基想好了。在奏折中，姚崇推荐的这个继承人叫宋璟，由他来继任为宰相，姚崇放心。这时，李隆基又有点感动了，虽然面前的这个姚崇狡猾是狡猾了一点，但他始终在为自己，在为大唐着想，这一点是谁也不能否认的事实。从祖母武则天的时代开始，姚崇就是一面靠着个人的机智在官场立足，一面靠着他那卓绝不凡的能力为他们李氏王朝保驾护航。自己之所以能够这么快就坐稳了王位，从始至终，姚崇可以说是功不可没。不过感动归感动，李隆基可一刻都没有忘记姚崇能对自己产生多大的威胁。
宰相这个位置，一人之下万人之上，如果一个人做宰相做的时间太长了，必然会形成只听命于自己的一拨势力，前不久姚崇为赵诲说情就是这么个例子。身为皇帝，必须杜绝可能出现的危险，姚崇这个宰相，他一定要换，不但姚崇，其他宰相也是如此。姚崇干了三年宰相，任期已满，可以光荣退休了。于是，公元716年年底，李隆基批准姚崇辞职，并听从他的意见，让宋璟接替宰相的位置。看到姚崇远离了权力中心，李隆基又成了那个重感情的李三郎。他仍旧让姚崇做三品京官，给了姚崇很高的头衔，有什么事也不忘问问姚崇的意见，给足了姚崇面子。那么退休的姚崇会不会满腹牢骚，抱怨李隆基过河拆桥？不满还是有的，但是，姚崇想到一个刚刚死去的人，突然变得达观。公元716年，李隆基的父亲，唐睿宗李旦去世了。在姚崇看来，李旦是个真正的聪明人，既有在乱世中保存自己实力的能力，又有在现实面前妥协的达观。说到底，聪明人能够把握成功的机会，失去机会后也不会强求，进退得宜，心中泰然。姚崇也有这样的达观。
一次，他问自己的亲信齐澣：“你认为我做宰相，可以和哪些古代宰相相提并论呢？和管仲、乐毅是不是差不多？”管仲和乐毅分别是春秋和战国时期著名的宰相和将领，他们辅佐国君建立霸业。姚崇以管、乐自比，看得出，他对自己的能力很满意。人以群分，姚崇是个务实的人，身边也没有多少阿谀奉承之辈。齐澣直言不讳地说：“您恐怕比不上他们。”——管仲和乐毅辅佐君王成就霸业，此时的姚崇刚刚帮君王稳定局势。姚崇又问：“那么我是个什么样的宰相？”人以群分，姚崇是个聪明的人，身边自然不会有傻瓜。齐澣想了想说：“您大概算得上一个‘救时宰相’吧。”——能够受命于危难，需要大气魄大智慧。姚崇听了果然没有生气，高兴地说：“救时宰相也很难得啊！”从这件事可以看出，姚崇能够正确评价自己，齐澣说的话，他不觉得是在贬低。有这样达观的心胸，即使被罢职，也能保持优秀政治家的风度，得到当政者的尊重。一代巨宰身后事那些心理素质过硬的人，不论他们的境遇是好是坏，都能过得洒脱自在。姚崇就是这样一个心理素质过硬的人。姚崇给李隆基递辞呈那年已经六十六岁了，按理说都这个岁数了，也该退休了。
长年累月的体力脑力双重劳动，使姚崇的身心健康早已严重受损，在这个时候歇下来修身养性，其实也未尝不是一件好事。对于皇帝最忌惮的那些事，例如结交皇亲国戚、笼络中央大臣，退休后的姚崇从来都不会去做。他也不会像很多退休的老大臣那样，对朝政横挑鼻子竖挑眼，让人看着不自在，尤其是让李隆基看着不自在。当老人知道自己身子骨已不再硬朗的时候，他势必会考虑起自己的身后事，姚崇也不例外，他首先要为自己的孩子们考虑。他知道自己的儿子贪财，就事先将自己的田地一份一份分给儿子和亲戚。这样在他死后，起码不必担心子孙后辈为了争夺财产而打得头破血流。对于葬礼的举办方式，姚崇保持着和贞观初年官员们一样的态度：薄葬。唐玄宗提倡节俭，姚崇行为士先，为官员们做了好榜样。最后还有一件事要考虑，最近张说回长安当了宰相。姚崇觉得自己死后，恐怕张说要来为难自己的亲人。姚崇和张说的别扭，不是一天两天了。
