荀子曾告诫李斯，“物禁大盛”，因为盛极必衰。《史记》卷八十七《李斯列传》。看来，这不但是自然万物发展的规律，而且也是人际权势演变的趋势。历代权倾一时的重臣，本人或者后代的下场都不是太妙。其原因是多方面的，或者如李斯，在与新贵的权力斗争中身败名裂；或者如萧何及周勃父子，因位高权重，有震主之威而受到猜忌；或者身后子弟仗势胡作非为，同归于尽，霍光就属于此类。
宣帝即位时，不仅霍光受封，其子霍禹及亡兄霍去病的孙子霍云、霍山，也都封官。他的女婿外孙也被陆续引进，盘踞朝廷。宣帝鉴于当时的形势，不得不虚己以听，唯言是从，但已经心怀猜忌了。
当时，这些拥立派已经开始受人攻击了。在霍光陪着宣帝谒拜高庙时，侍御史严延年就劾奏霍光擅行废立，无人臣礼。宣帝不便批答，搁置不提。《汉书》卷九十《酷吏传·田延年传》。大司农田延年由于首倡废立大事，晋封阳城侯，因而趾高气扬，自鸣得意，遂惹得怨声四起。有人揭发他在办理昭帝大丧时，谎报雇车价值，侵吞公款达三千万钱。当由丞相蔡义据事纠弹，应该下狱讯办。田延年素性负气，当然不肯就狱，愤然说道：“我位至列侯，还能受辱入狱么？这不叫人唾到我背上才怪哩！”俄而，严延年又弹劾他手持兵器，侵犯属车。他更恨上加恨，决绝地说道：“这无非是教我速死，我死便罢，何必多加逼迫？”说着，便拔剑自杀。谁想到，严延年后来又受到御史中丞田广明的弹劾，说他明知田延年有罪，却纵令犯法，也应当连坐，严延年吓得弃官而去。《汉书》卷九十《酷吏传·严延年传》。
田、严两延年一死一逃，显然是因为得意忘形，人所难容。霍光确实不是这样的人，他一向处事谨慎，不事张扬。只是辅政时间过久，事务过多，新皇帝又很年轻，他有时就免不了独断。宣帝令校尉常惠出使乌孙国，常惠说龟兹国以前曾杀掉汉使，应该顺道往攻。宣帝恐他多事，不肯照准，霍光却许他便宜行事。常惠果然矫命乌孙发兵，联合西域诸国，进攻龟兹。龟兹新国王大惊，遂将当时主张杀汉使的大臣姑翼缚送军前，常惠当即喝令斩首。回国后，宣帝本来要责他擅杀，听说是霍光暗中指示，也只得作罢，却并不加赏常惠，明显是开始对霍光稍示颜色了。《汉书》卷七十《常惠传》。
时过不久，霍光的妻子霍显，就背着他干出一件伤天害理的事。霍光的元配早死，所生一女嫁与上官安为妻。这霍显原是他家的婢女，纳为妾媵后生了几个子女，便升作继室。他们的小女成君，尚未许人。宣帝即位后，霍显一心希望将小女儿纳入宫中，做个现成的皇后，偏偏宣帝令故妻许氏正位中宫。她由失望变为仇恨，日思夜想，寻找机会，一心想把许后除掉。
机会还真的给她找到了。本始三年（前71）正月，许皇后即将分娩，却身体不适，寝食难安。宣帝遍召御医诊治，又采募女医入宫，日夕侍奉。女医中有一人是掖庭护卫淳于赏的妻子，与霍显熟识。两个女人便做了一笔交易：淳于妻毒死许皇后，霍显活动升她丈夫为安池监。许皇后生子后，随即不明不白地死去，宣帝悲悼不已，亲自视殓。有人递入奏章，说到皇后暴崩，女医侍疾无状，应该从严拿究，宣帝当即准奏。有司讯问女医，淳于妻宁死不肯供认，其他女医并无情弊，同声呼冤，先一齐囚系在狱中。《汉书》卷九十七《后戚传·孝宣许皇后传》。
霍显这下子慌了，只好将事情原原本本告诉了霍光。霍光听了，也不禁咋舌，怒骂这个混账妻子，却已经于事无补。他想到如果淳于妻说出真情，免不了牵累全家。如果直接去自首，虽得保住全家，妻子可得脑袋落地。想了再想，就入宫面见宣帝，先表示慰问，再说到许后病死想是命数注定，人死不可再生。再说这些女医也没有这般大胆，敢毒害皇后。宣帝也以为然，就传诏赦出女医。对许皇后依礼治丧，奉葬杜南。
过了一段时间，风声也就过去了。霍显见障碍已经除去，就照原计划请霍光将女儿纳入后宫。霍光入宫一说，想不到宣帝竟然允许，就将女儿装束停当，送入宫中。宣帝优礼相待，逐渐宠幸。一年后，就册为继后。霍皇后到东宫侍奉上官太后时，却有点尴尬。那上官太后本是霍光的外孙女，论起辈分，比霍后还低了一辈。所以霍后去进谒时，上官太后往往站起来，立在一旁，特别敬礼。宣帝对这位名门千金也倍加燕好，备极绸缪。
地节二年（前68）春三月，霍光老病缠身，渐至不起。宣帝亲自前去慰问，见霍光已到弥留之际，想到武帝驾崩二十年来，朝政多事，人事纠纷，他毕竟忠心耿耿，稳定了大局，也不禁泫然流涕。几天后，霍光病逝。宣帝与上官太后都亲往吊奠，又使曾任大将军长史的中大夫任宣持节护丧，中二千石以下官员监制坟茔，特赐御用衣衾棺椁。出葬礼仪，也尽如天子制度。墓前特置园邑三百家，派兵看守。
宣帝在霍光生前，已不无猜忌之意。霍光死后，就应该对其子弟加以限制，这对国家对霍氏都有好处。他不知道出于哪种考虑，却故示放纵。本来，霍光临死前在谢恩书中已表示，愿分国邑三千户，移封其兄霍去病的孙子霍山，以奉兄遗祀。宣帝当即将原书发出，交丞相、御史大夫酌议，即日拜霍光之子霍禹为右将军。霍光卒后，丞相等请依照霍光谢恩书，分邑于霍山。宣帝却不予分置，令霍禹嗣爵博陵侯，食邑如旧。又封霍山为乐平侯，守奉车都尉领尚书事。地节三年（前67），宣帝立许后所生子刘为太子，进封许后父许广汉为平恩侯。又推恩霍氏，封霍光孙子中郎将霍云为冠阳侯。至此，霍氏一门三侯，荣宠无比。
宣帝故示放纵，霍氏后人却不知大树已倒，骄纵之态顿生。那霍显自儿子袭爵，居然做了太夫人，便骄奢不法，令人在霍光生前所筑茔制三面起阙，中筑神道，盛建祠宇辇阁，通接永巷。将所有老年婢妾驱至巷中，看守祠墓。又大治宅第，特制的彩辇以黄金为饰，锦绣为茵。使侍婢作为车夫，用五彩丝绞绾住辇毂挽车游行取乐。晚间则与家奴冯子都相偎相抱，颠倒鸳鸯。她视太后、皇后两宫如自己家，自由出入，不拘礼节。子侄辈的霍禹、霍山骄纵淫逸，自不必说。孙子辈的霍云虽是少年，也整日里飞鹰逐兔。在例当入朝时，他居然派家奴驰入朝堂，称病请假，宣帝默不作声。朝臣知道他欺主，不敢言而敢怒，都等着看他的下场。霍禹姊妹仗着母家势力，任意出入太后、皇后两宫。
霍氏家族的这种放浪行为，早已引起公愤。御史大夫魏相就愤然上书，指斥霍氏子弟的“骄奢放纵”，请宣帝“损夺其权”，以“固万世之基，全功臣之世”。宣帝接到上书，看到时机成熟，也就开始准备对霍氏家族下手了。汉廷旧例，民吏必须提供正、副二封，先由领尚书事将副封展阅一周，所言不合，便把正封搁置，不复上奏。当时霍山正领尚书事，魏相同时进言，除去吏民副封，以免壅蔽。霍显得知此事，心知来者不善，霍禹、霍山、霍云还不以为然。霍家奴与御史家奴争道，霍家奴竟然捣入御史府中，经魏相出来赔礼，令家奴叩头谢罪，才得息争。没想到魏相既而升为丞相，由曾保护宣帝的光禄大夫丙吉担任御史大夫。霍显暗暗吃惊，唯恐遭到报复。《汉书》卷七十四《魏相传》。
当初宣帝立太子时，霍显就恨恨不平，担心自己女儿虽为皇后，生男只能外出为王。为了巩固霍氏势力，就悄悄入见霍后，叫她寻找机会毒死太子。霍后依着母命，屡召太子赐食，拟乘间下毒。偏宣帝早已提防着，太子每与霍后进食，必由保姆先尝后进，使她无从下手。宣帝已经感觉到霍后不喜欢太子，心下开始怀疑从前许后之死，是霍氏使人下毒。对此，宫廷内外渐渐也开始有所传言。宣帝便与魏相密商，对霍氏开始采取一种釜底抽薪的办法。《汉书》卷九十七上《后戚传·孝宣霍皇后传》。
鉴于当时朝内要害部门统由霍光女婿入掌兵权，宣帝便先徙迁其女婿，调未央卫尉范明友为光禄卿，长乐卫尉邓广汉为少府，羽林监任胜为安定太守，撤回光禄大夫散骑都尉赵平的骑都尉印绶；再调霍光姊夫给事中张朔为蜀郡太守，霍光孙婿中郎将王汉为武威太守；又收还霍禹的右将军印，表面尊为大司马，与乃父同一官衔。收回兵权后，特命张安世为卫将军，一并节制两宫卫尉、城门屯兵、北军八校尉。令使许、史两家子弟，代为军将。
霍禹因兵权被夺，亲戚调徙，心情郁愤，便托疾不朝。中大夫任宣曾为霍氏长史，并奉诏护丧，念及旧情，前去探问。霍禹在言谈间直呼宣帝为县官，大发牢骚道：“不是我家将军，县官怎得至此？今将军坟土未干，就将我家疏斥，反而重用许、史子弟！”任宣当然不能迎合，只说许、史为天子近亲，应该贵显，请他不要介意。说完，便告辞而去。
霍氏得势时不知收敛，已受人讥弹，现今日趋失势，纠劾者四起，甚至连毒死许皇后之事，都有人开始议论了。霍山等莫明其妙，问起此事，霍显将众人引至内室，将实情告诉了他们。众人听罢，都知道事情的严重性，唯恐宣帝一旦查究起来，必然大祸临头，一时都吓得没了主意。霍禹年龄较大，胆气较粗，心想一不做二不休，索性将宣帝废去。正商量间，霍云的舅父李竟的好友张赦，进来出了一个主意，请霍显报告上官太后，诛除丞相魏相与平恩侯许广汉，天子势孤，霍氏自然免患。
谁知隔墙有耳，霍家的一个马夫听到了张赦所出的主意，在底下私议时，被长安亭长张章听到，就上书告发。宣帝披览后交廷尉查办，廷尉使执金吾往捕，已而又饬令止捕。霍氏诸人还以为是宣帝顾着太后，一时没有动手，但自己所犯之事必然有发作的时候，于是就加紧活动，让各婿家一同举事。但是，就在他们还没有来得及动手时，霍云的舅父李竟，因与诸侯王私相往来，被拘捕。此案与霍氏相连，诏令霍云、霍山免官就第。只有霍禹还能入朝，百官对他都很冷淡，宣帝当面责问他的事，件件打中要害，直说得他冷汗淋漓，只能免冠谢罪。回家一说，胆小的吓得要死，胆大的还想破釜沉舟。
地节四年（前66）春月，霍氏还想着请上官太后召宴魏相、许广汉，趁机杀掉，废去宣帝，立霍禹为天子。计划还没有来得及实施，宣帝诏令已下，出霍云为玄菟太守，任宣为代郡太守。接着，霍山擅写密书之事被人告发，霍显愿意献出城西宅第，一千匹马，为霍山赎罪，上书后，却无下文。
那个长安亭长张章，又探得霍禹的逆谋，当即告发。宣帝立即派吏四出，凡霍氏家族亲戚，一律拿办。霍婿范明友得到消息，先去给霍山、霍云报告祸事，两人吓破了胆，有家奴来报，霍显宅第已经被围，三人相继服毒。待等捕役到门，已经毒发毙命。霍显、霍禹事先没有得到消息，被拘捕到狱中，严刑讯出实情，霍显被诛，霍禹腰斩。所有霍氏诸女及女婿、孙婿，全部处死。甚至近亲疏戚，辗转连坐者不下千家。霍光、霍显联手送入中宫的霍皇后，也坐此被废，宣帝当即封王婕妤为皇后。霍皇后先是徙居到昭台宫，后来又迁徙云林馆，自杀。那些告密、告逆的大小人等，都得到加封。连那个小小的长安亭长张章，也居然受封为博成侯。
值得玩味的是，当霍氏权倾一时，日益奢侈时，茂陵人徐生曾诣阙上书，请宣帝裁抑霍氏，“无使至亡”。书至三上，宣帝却只批答了“阅知”二字。霍氏族灭，唯独没有封赏徐生。有人代为上书，宣帝还不以为然，只给他赏赐了十匹帛。
这就说明，霍氏灭族，错在霍光治家不严，偏袒霍显，放纵子弟；罪在霍氏子弟横行不法，骄奢无度，直到最后当兵权被夺，亲戚被徙时，还不知道引退，还想着篡逆，只能是自取灭亡。但是，这与宣帝的姑息养奸，甚至有意激发促成，他好一网打尽，也大有关系。从茂陵人徐生上书前后所受冷遇之事，不就可以看出其中的蛛丝马迹么！
应该说，忠心耿耿的霍光不但有大功于汉，而且有大恩于宣帝。宣帝号称中兴之主，他对霍光本人倒还说得过去，但对霍氏家族诱之以罪以至灭族，则未免残刻过甚。百年之后，宣帝没有到五陵原上陪伴他的祖先去，而是安息在长安城南的杜陵，许皇后则陪伴在少陵，同为名胜之地。只是那霍皇后的幽灵，还不知在哪儿飘荡哩！
还是庄子说得对：“凡人心险于山川，难于知天。天犹有春秋冬夏旦暮之期，人者厚貌深情。”《庄子·列御寇》。
权势诱人，权势害人。欲求平安者，还是远离它！
