却说许后死得不明不白，外间已经有人议论，又见淳于衍得释出狱，忽然发了一笔大财，大众早猜到其中必有原因。
及霍氏得立为后，众人恍然大悟，但碍着霍光尚在不敢多言。如今霍光已死，便有人将此语到处传播，宣帝听说后也觉可疑，暗想此言如果属实，必须严行究办，为许后报复冤仇。只是众口喧传未得实据，且霍氏子弟布满朝廷，手握兵权势力甚大，要想惩治也难下手。如今既有此等风闻，霍氏万难亲信，须趁此时削其权力免贻后患，于是召魏相等密议处置之法。
当时度辽将军范明友为未央卫尉，中郎将任胜为羽林监，还有长乐卫尉邓广汉，光禄大夫散骑都尉赵平，统是霍光女婿。光禄大夫给事中张朔系霍光姊夫，中郎将王汉系霍光孙婿，宣帝先徙范明友为光禄勋，任胜为安定太守，张朔为蜀郡太守，王汉为武威太守；复调邓广汉为少府，收还霍禹右将军印，阳尊为大司马；特命张安世为卫将军，所有两宫卫尉，城门屯兵，北军八校尉尽受张安世节制。又将赵平的骑都尉印绶也一并撤回，但使为光禄大夫。另使许、史两家子弟代为军将。
霍禹见宣帝夺其兵权心中愤郁，于是称病不肯入朝。一日大中大夫任宣前来拜访。霍禹便命请入。任宣曾为霍氏长史，听说霍禹有病故来看视。任宣见霍禹并无病容，便故意用言挑道：“未知君候身患何病？”霍禹听了长叹道：“我有甚么病症？只是心下不甘。”霍禹呼宣帝为县官，又信口讥评道：“县官非我家将军怎得到此？今将军坟土未干就将我家疏斥，反任许史子弟夺我印绶，究竟我家有甚么大过呢？”任宣闻言劝解道：“大将军在日亲揽国权，生杀予夺操诸掌握，就是家奴冯子都王子方等也受百官敬重，比丞相还要威严。大凡盛衰各有其时，今许、史乃天子骨肉自然当贵。大司马因此怨恨，愚意以为不可。”霍禹被任宣说了一通默然无语。过了数日病假已满，霍禹只得照旧入朝。
却说霍山、霍云等见势力日孤，便常与霍显、霍禹商议，往往相对啼泣自相埋怨。霍山说道：“今丞相用事县官信之，竟将大将军所定法令尽行变易，一班儒生多系贫人客居长安，饥寒交迫喜为妄言，素为大将军所恶。今儒生人人都能上书请见，而且多言大将军过失。主上肯定不信任我辈了。”霍显勃然道：“这是魏丞相唆使要灭我家，难道他果无罪过么？”霍山说道：“丞相生平廉正却是无罪，我家行为不谨容易受谤，最可怪的是都中争言我家毒死许皇后，究竟此说从何而来？”霍显便把他们引至内室，具述淳于衍下毒实情。霍禹等不觉同声急语道：“这！这！……这事果真么？奈何不先行告知！”霍显也觉愧悔，把一张粉脸急得红一块青一块，就如无盐嫫母一般。后人有诗叹道：
不经贪贼不生灾，
大祸都从大福来；
莫道阴谋人不觉，
空中天网自恢恢。
霍山及霍云回到家中，便将霍显言语告知家人，家人听说后无不惊恐。正在举家慌张之际，霍云至友张赦来到他家，见其家人神色张惶，便为霍氏想得一计，说道：“今丞相与平恩侯擅权用事，可请太夫人速白上官太后，诛此两人翦去宫廷羽翼。天子势孤，上官太后一诏便可废去。”霍云欣然受教，张赦也即告别。
不料隔墙有耳，张赦计谋竟为家中马夫所闻，夜间告诉其他马夫。他们本是一班粗人，说完统去就寝。
却说有个颍川人名叫张章，曾在长安充当亭长，因事失官流落四方，记起与霍氏马夫相识，遂寻见马夫具言来意。马夫便留他在马枥旁下榻。张章听得众马夫相聚谈论，心中不由暗喜道：“我如今机会到了！”
朦胧半晌已报鸡声，张章照着马夫言语打定腹稿，一到天明便与马夫作别，自去缮成一书北阙呈入。
霍显夜来神思不宁，梦见霍光与语道：“汝知儿被捕否？”霍光果真有灵，应当先活捉奸夫冯子都，这全是霍显惊慌所致。霍禹也梦见车声马声前来拿人。母子清晨起床互述梦境，都很担忧。又见宅门无故自坏；屋瓦无风自飞；种种怪异不可究诘。
霍氏听说有人上书后越觉惊惶。遂使诸女各自归家报告其夫，劝其同谋举事，并说将来祸发谁也无处躲避。霍氏诸婿只得依允。待中金赏乃金日磾之子霍光女婿，听说此事后立即上书自请去妻。
宣帝不能再容，当即派吏四出，凡霍氏家族亲戚一体拿办。霍山、霍云及范明友自知无可逃避，各寻自尽。
霍显、霍禹、邓广汉等措手不及皆被下狱。经廷尉讯出真情立即行刑，霍禹被处腰斩，霍显也遭诛，所有霍氏诸女及女婿孙婿悉数处死。所有近戚也辗转连坐，诛灭不下千家。冯子都王子方等当然做了刀头鬼。冯子都阴魂又好与霍显取乐去了。惟金赏已经去妻，幸免株连；张章受封博成侯，张章平地封侯最为侥幸。
宣帝下诏有司废去霍后移居昭台宫，霍后并未生育子女。又过十二年，宣帝将其再移云林馆。
霍成君生于王侯之家，与汉宣帝强强联姻，看似风光无限，实则隐患颇多。刘病已为了拉拢霍光，所以不得不立霍成君为后。霍家贪图权力，结亲皇家。这种功利性婚姻，始于利益，终于利益。
身为王侯之女的霍成君，自一出生，她的命运便与整个家族的利益，紧紧联系在一起。她的婚姻对于整个霍氏一族来说，是帮他们获取更多好处的筹码。至于霍成君个人的幸福，并不在他们家人的考虑范围之内。或者说在霍家人的心里，只要有权便有幸福。
所以命运始终不掌握在自己手中的霍成君，成了一颗任人摆布的棋子。她与刘病已的幸福婚姻生活，只有短短5年的光景。而这种幸福，是在霍家强大的保护伞下才有的。霍氏一族被灭，她的幸福如泡沫般消失不见。为何没有追随家人而去，那是因为她的心中还有隐隐的期待。
结果12年的苦苦等待，换来的是一个要命的诏书，霍成君绝望了。以前她父母在时，她将父母当作自己的精神依赖，父母走后，她将刘病已当作自己的精神支柱，可现在她还能依赖谁呢?
生命的最后，霍成君终于认清了自己，终于当了一次自己命运的主宰，她毅然决然地选择了自尽，成全了刘病已的故剑情深。霍后死后，葬于昆吾亭东。
纵观霍成君短短的一生，15岁嫁与汉宣帝，20岁被废后，33岁自尽，如烟花般绚烂，却比烟花还寂寞。
却说张安世有孙女名敬，嫁于霍氏亲属，适值霍氏谋反，孙女也应坐罪。张安世一向小心，今见霍氏谋反族诛，更兼孙女牵连在内，自己算与霍氏有亲，难免株累，因此心中愁苦。他年纪已老，禁不起忧虑，不过数日，容貌便瘦了许多。宣帝见他如此情形十分诧异，于是问左右是何缘故。左右便将详情诉说一番。宣帝即命赦了张安世孙女以慰其意。张安世想起霍氏败亡都因权势太盛。现在主上英明，自己领尚书事是个重要职务，一举一动须与霍氏相反方可保全。从此张安世办理政务格外谨慎周密，每遇重大政事必先入见宣帝，议定办法后再诏令发布。
安世曾向宣帝荐举一人，其人闻知后来见张安世，面谢提拔之恩。张安世听了大以为恨，说道：“举荐贤能乃是应为之事，岂有私心，何必来谢？”又有郎官功劳甚高不得升擢，自向安世申说。安世答道：“足下功高，明主自能知悉，此人臣当尽之职，何得自夸？”郎官听后只得无言退去。安世拒绝郎官之请，入见宣帝时却又陈述郎官之功，不久郎官果得升擢。
宣帝又想起张安世之兄掖庭令张贺，从前待已有恩，即位以来尚未报答。张贺有一子早死，遗有一孙，年纪甚幼，便以张安世小儿子彭祖为嗣。宣帝自幼与彭祖同窗读书，于是欲封彭祖为侯，张安世上表固辞。宣帝道：“吾自为掖庭令，非为将军也！”张安世听了不敢再言。宣帝又为张贺置守冢三十家，亲自指定地方令其居住。
宣帝既废霍后，欲就后宫择立一人为皇后。是时后宫妃嫔得宠者三人，一为华捷妤，生有一女，后封馆陶公主；一为张婕妤，生一子名钦，后封淮阳王；一为卫捷好，生一子名嚣，后封楚王。此三人中，张婕妤尤为爱幸。宣帝想起太子奭幼年失母，几为霍后所害，今若立后不慎，恐太子又遭毒手。况此三人自己都生有子女，欲其抚爱太子恐是难事，不如选择平日为人谨慎未曾生子者立之，方免后患。宣帝主意既定，遂下诏立王捷妤为皇后，使之抚养太子。
王捷妤乃长陵人，其先代本居沛县，随高祖入关有功，赐爵关内侯。传至王婕妤之父王奉光，少时性喜斗鸡，宣帝在民间时常与他聚会相识。王奉光有女年十余岁，已经许字他姓，临出嫁时其夫忽死，如此一连数次，克死了几个未婚夫，以致无人敢娶。及宣帝即位，王奉光女儿尚未适人，宣帝追怀旧谊发生异想，把她召入后宫立命侍寝，赐过几番雨露却又无恙。宣帝也不怕死，想王女命中应配皇帝。后来霍后入宫，张婕妤又复继进，宣帝无暇顾及王女，王女冷落宫中少得入御。这次宣帝册她为继后，就把太子刘奭交付给她抚育。太子遂依王后过日，宣帝又使疏广、疏受为傅，太子得保无事。
宣帝不想皇后生儿子，所以很少与她相见。张婕妤等引作笑谈。王女虽得为后却不见宣帝宠遇，但王女安处深宫毫不争宠，一些儿没有怨言。张婕妤等仍得相安，由她挂个虚名罢了。王女得立皇后。宣帝封其父王奉光为邛成侯。
很多人都为汉宣帝抱不平，认为他为了保护自己与许平君的孩子而娶了个自己不爱的人做皇后，这是一件非常悲哀的事。其实立王皇后为后，对宣帝的生活并没有什么影响，他仍然可以宠爱别人；相反一个嫁为人妻的女子，不仅无法得到丈夫的爱，还要抚养别人的孩子，这才是最痛苦的！