朝臣们担心刘贺要危害国家，使天下不安。霍光同群臣一起谒见禀告上官太后，详细陈述昌邑王不能继承皇位的情况。皇太后于是乘车来到未央宫承明殿，诏令各个宫禁门卫不要放刘贺的群臣进宫。
刘贺进宫朝见太后返回，准备坐辇车回到温室殿，宫中的黄门宦官各自手持门扇，等昌邑王进去后，就把宫门关上，刘贺的群臣就进不来了。刘贺问道：“这是干什么？”
大将军霍光跪下说：“皇太后有诏令，不让殿下的群臣进来。”
刘贺说道：“慢点来，为什么要弄得这么吓人！”
霍光派人将昌邑王的群臣全部驱逐出宫，集中在金马门外。车骑将军张安世率领羽林骑士拘捕捆绑了二百多人，都交给廷尉关在诏狱内。并命令原昭帝的侍中、中常侍看守昌邑王。霍光告诫他们道：“尔等要小心值班守卫，昌邑王如果突然死了或自杀，就会让我对不起天下人，背上杀害君王的罪名。”
刘贺这时还不知道自己要被罢黜，对身边的人说：“朕原来的群臣随员有什么罪，而大将军全把他们关押起来了？”
不久，太后下诏召见刘贺。刘贺听到要召见自己，心中开始害怕起来，于是说道：“朕犯了什么罪要召见朕？”
太后披着珍珠缀成的短袄，穿着盛装坐在布置有兵器的帷帐中，几百名宫廷卫士都拿着武器，期门武士持戟守卫台阶，他们都排列在殿下。群臣按顺序走进殿来，叫刘贺伏在前面听诏令。霍光同各位大臣一起联名奏劾刘贺，尚书令当庭宣读了弹劾奏章，细数刘贺即位以来种种不孝违法之行。
群臣认为高皇帝因为创建汉朝基业，所以称汉太祖，孝文皇帝因为仁慈节俭被称为太宗，如今昌邑王继承孝昭皇帝之后，行为放纵不合法度。《诗》说：‘籍曰未知，亦既抱子。’五刑的条文规定，罪孽没有比不孝更大的。周襄王不能侍奉好母亲，《春秋》就说‘天王出居到郑国’，因为他不孝而被赶出京城，使他与天下人隔绝。宗庙比君王更重要，刘贺没有到高庙接受大命，就不可以继承上天的意旨而奉祀祖宗宗庙、统治天下万民，应当废黜。
群臣请求有关官员御史大夫蔡谊、宗正刘德、太常苏昌和太祝准备一副太牢供品，将此事告祭于高庙。
皇太后下诏说：“准奏。”
霍光就叫昌邑王起来跪拜接受诏令，刘贺说道：“朕听说天子只要有争臣七人，即使无道也不会失去天下。”
霍光随后冷笑着说道：“皇太后已下诏令废黜，哪里还是天子！”
于是上前抓住他的手，解下他身上的玺印绶带，捧上交给太后，扶着昌邑王下了宫殿，走出金马门，群臣跟着送行。刘贺惶恐的向西面拜道：“朕愚昧不明事理，不堪担当汉朝的重任。”
起身坐上皇帝侍从的车辆。大将军霍光把昌邑王送到昌邑邸后，霍光告罪道：“您的行为自绝于上天，臣下等怯懦无能，不能自杀来报答您的恩德。臣下宁可有负大王，不敢对不起国家。但愿大王能够自爱，臣下将再也不能见到您了。”霍光哭着离开了刘贺。
群臣又上奏道：“古代被罢黜放逐之人都流放到很远的地方，不使他干扰国家政令，我们请求把昌邑王刘贺迁到汉中房陵县。”
太后诏令刘贺回到故国昌邑，并赐给他汤沐邑二千户，从前昌邑哀王刘髆的家财全给了刘贺。对昌邑哀王刘髆的四个女儿也各赐汤沐邑一千户，昌邑国被废除，降为山阳郡。昌邑国的群臣由于没有尽辅佐教导君臣之谊，使昌邑王误入歧途而获罪。
霍光就将他们全部杀了，共有二百多人。当这些人被拉出去处死的时候，都在街道中哭泣呼喊道：“哎，王上呀，当断不断，反受其乱。”
刘贺被废后，大将军霍光尊立汉武帝曾孙刘询为皇帝霍光的本意是打算立一个傀儡皇帝，自己来掌权。自小历经磨难的刘询，坐上御位后不久就明白了其中的玄机。按理说当了万人之上的皇帝，如有人对自己指手画脚，非立即出手争赢不可。
刘询可不是这样，他深知自己还缺乏去争斗的实力。他的隐忍功夫常人难及。刚当上皇帝不久，霍光就假惺惺地公开宣布要还政给皇帝。刘询知道霍光在探他的底细，一再谦让推辞，不仅让霍光继续任原职处理国事，还作出决定，凡一应事务，先报霍光再奏知自己。与此同时，对霍氏一族人封邑封侯。
（霍光）
刘询当上皇帝后对霍光礼敬有加，百依百顺，但对立皇后这件事上，他实在不愿听人摆布。霍光打算立自己的女儿霍成君为皇后，众大臣也极力点赞，这时候刘询却下了一道令人费解的诏书：我在贫困之时有一把旧剑，每天不离身，众位爱卿能否为我将其找回来？大臣们是揣摩上意的行家里手，就转向请立许氏为皇后。这便是典故“故剑情深”的来源。真是一则感天动地的爱情故事哟！
碍于众大臣的态度，霍光不便撕破脸，只好立许平君为皇后，但心里一直在打翻盘的主意。三年后许平君怀孕了。生下孩子后，霍光夫人买通女医淳于衍，用产妇忌服的药送许平君归了天。
刘询通过暗地调查，得知是霍光夫人使的坏，但自己深知还缺乏扳倒霍氏集团的力量，小不忍则乱大谋啊！他继续隐忍着，还立了霍光的女儿霍成君做皇后。
四年后他仍然立许平君生的儿子刘奭为太子。霍光夫人气急败坏，唆使女儿霍皇后毒害太子。而刘询早已为儿子精心挑选了一名忠心耿耿的保姆，每当霍皇后给刘奭送去食物，保姆便要验证无害之后才送给刘奭吃，使霍氏集团的阴谋始终无法得逞。
公元前68年，专权20多年的霍光病逝。刘询以帝王的规格厚葬了霍光。霍氏集团完全放松戒备后，刘询免除了霍光两个女婿及两个侄女婿的重要军职，等到霍氏集团发现情况不妙时，刘询迅即免除了霍光儿子霍禹的右将军一职。霍氏集团孤注一掷发动政变，很快就被镇压下去。霍皇后被废打入冷宫。刘询成功地夺回了皇权。（本章完，。）