一时间，整个皇宫被刘贺搅的天昏地暗、乌烟瘴气。根据《汉书·霍光金日磾传》载：刘贺“受玺以来二十七日，使者旁午，持节诏诸官署征发，凡千一百二十七事。”27天内就干了1127件荒唐事，平均一天40件。这个数字确实惊人！

　　霍光没有想到自己拥立了这么一个浪荡皇帝，真是又气愤又后悔。他不敢声张，悄悄地把他的心腹大司农田延年找来，问他应该怎么办。田延年说：“大将军认为这个人不能做皇帝，为什么不禀告皇太后把他废掉，再挑选一个贤明的人呢？”霍光说：“我也想这么着，但不知到古时候有没有这种先例？”田延年说：“怎么没有呢？殷朝时有个国相叫伊尹的，曾经废黜了昏君太甲，使国家得到了安定，后世人都说他是忠臣。大将军要是这么做，那就成了汉朝的伊尹了。”霍光又去跟已经升任车骑将军的张安世商议，张安世也同意把刘贺废黜了。

　　霍光又派田延年去报知丞相杨敞。杨敞是一个胆小怕事的人，他一听说要废掉新立的皇帝，吓得出了一身冷汗，一时张嘴结舌说不出话来。他的夫人趁田延年出去更衣的功夫，急忙对丈夫说：“这是国家大事，如今大将军已作出决定，还派大司农来通知您，您若不痛痛快快地答应，跟大将军同心合力，还能有好结果吗？”杨敞的夫人没办法，只好自己出面说明。《汉书·杨敞传》上说，“延年从更衣（处）还，敞夫人与延年参语，许诺，请奉大将军令。”言及杨敞的夫人与田延年两个人一起研讨此事路，代替杨敞表明态度说：“一切遵从大将军的命令！”

　　就在昌邑王即位的第二十七天，霍光把文武百官召集到未央宫，跟他们一块商议废除昌邑王的事。霍光开门见山地问道：“昌邑王昏庸无道，恐怕要危害社稷，大家说应该怎么办呢？”群臣见霍光不称刘贺为皇帝而称昌邑王，一个个都吓得半晌说不出话来。田延年看这种情况，不由得站起身来，手按着剑柄说：“先帝把天下托付给大将军，是因为大将军忠厚贤明，能够安定刘家的天下。要是汉朝的宗庙从昌邑王的手里绝祀，大将军死后还有脸到地下去见先帝吗？今天大将军作出的决定，容不得半点迟疑，谁要是不响应，我马上砍了他的脑袋！”霍光道：“所有责任应当由我来负。”群臣听了，全趴在地上磕头，齐声说：“我们一定遵从大将军的命令！”于是，霍光就让尚书令把事先写好的奏章拿出来，请大臣们在上面一一签名。

　　随之，霍光率群臣晋见太后，陈述刘贺种种无道行径，于是皇太后乘车前往未央宫承明殿，下诏命皇宫各门不许放原昌邑国臣属入内。守门的太监们接到太后的诏令，每人手握一扇宫门，刘贺一进入温室殿，太监们立即将门关闭，把跟在后面的原昌邑国的臣属挡在外面。刘贺面有惧色地马上问道：“这是干什么？”霍光在旁跪道：“皇太后有诏，不许原昌邑国的群臣入宫。”刘贺说：“慢慢吩咐就是了，何必如此吓人！”霍光命人将昌邑国的群臣全部驱赶到金马门之外，被张世安率领的羽林军全部逮捕，关进监狱。同时，霍光又命曾在汉昭帝时担任过侍中的太监专门守护刘贺，命令道：“一定要严加守护，谨防刘贺被害或自杀，让我在天下人面前担上杀主的恶名。”此时，刘贺还不知内因，便问身边的人说：“我以前的群臣和从属们犯了什么罪？大将军为什么要将他们全部关押起来呢？”等到皇太后下诏召见刘贺时，刘贺才真正感到害怕地说：“我犯有什么错？太后为什么要召见我？”就这样，刘贺在霍光与文武群臣的联名参劾下，皇太后下诏将刘贺废黜。刘贺仍不死心，说：“我听说‘天子只要有七位耿直敢言的大臣在身边，即使荒淫无道，也不会失去天下。’”霍光说：“你已被废黜，岂能再称天子。”随即抓住刘贺的手，将他身上佩带玉玺的绶带解下送与皇太后，然后扶刘贺下殿，直送到长安所设置的昌邑王官邸。刘贺过了二十七天的皇帝瘾，连一个年号也没有定下来，就被糊里糊涂地废掉了。刘贺从昌邑国带来的臣属共200余人，除王吉、龚遂等少数正直人士外，皆被处死。

　　事后，霍光亲自把刘贺送到昌邑邸，并对他说：“大王自绝于天下，臣下也没有办法。臣下宁可对不起大王，也不能对不起国家。从今天起，臣下就不能再服侍大王了，请大王多多保重！”就这样，刘贺仅仅做了27天的皇帝，又被赶回封地昌邑。可叹刘贺，曾经是堂堂大汉皇帝，离开皇宫时只配享用牛车的待遇。到宣帝时，曾封为海昏侯，后又被贬为庶人。公元前59年，刘贺病故，年仅30多岁。

　　当年七月，霍光另立汉武帝的曾孙刘病已（刘询）为皇帝，这就汉宣帝。刘询是汉武帝的曾孙，上官太后论辈份是汉宣帝的祖母，这样，上官氏年仅十五岁，就尊为太皇太后，成为中国历史上最年轻的太皇太后。

　　汉宣帝即位前曾长期在民间生活，颇知民生疾苦。所以他即位后勤俭治国，政治更加清明，社会经济更加繁荣，使汉朝的强盛局面又保持了几十年。宣帝统治期间，“吏称其职，民安其业”，号称“中兴”，应该说，宣帝统治时期是汉朝武力最强盛、经济最繁荣的时候，因此史书对宣帝大为赞赏，曰：“孝宣之治，信赏必罚，文治武功，可谓中兴”。

　　历史事件的发生，往往是综合因素的共同作用。刘继兴认为，刘贺之所以很快就被废黜，除了他荒唐透顶这一众所周知的原因之外，还有一个重要因素就是政治权力的角逐。刘贺被拥立为帝，本应依赖和重用以霍光为首的拥立他为皇帝的朝廷大臣，维护他们在朝中的既得利益，然而，刘贺不仅没有这样做，反而将原来昌邑国的全套人马都带到了长安，权力与利益的斗争，在对于一个在朝中还没有扎下根来的刘贺来说，只有被废黜的一条路了。下诏废黜刘贺皇位的皇太后，年仅十五岁，朝廷的实际权力其实掌握在大将军霍光的手里。通过废立，权臣霍光的地位和权力更稳固了，《资治通鉴·汉纪十六》中这样记载：“及昌邑王废，光权益重”。