汉武帝末年，围绕继位问题的一场明争暗斗已经逐步展开。武帝征和二年（前91年），武帝悉心培养的太子刘据因巫蛊之祸被逼自杀，这场斗争就更趋于表面化。

    燕王刘旦在太子死后上书武帝请求入宫值宿卫，惹怒武帝。后来，汉武帝命画工画了一幅周公背负周成王的图画赐予霍光。

    武帝后元二年（前87年）春，汉武帝病死，死前立刘弗陵为太子，霍光正式接受汉武帝遗诏封大司马大将军，成为汉昭帝刘弗陵的辅命大臣，与车骑将军金日磾、左将军上官桀、御史大夫桑弘羊等人共同辅佐朝政。从此，霍光掌握了汉朝政府的最高权力。“帝年八岁，政事一决于光”。

    帝位的确定，不等于争夺帝位的斗争的结束。相反，更引起了激烈的政治斗争。霍光辅政以来，首先遇到的就是这场激烈的政治斗争。而促使这场斗争趋向白热化的，是与霍光同时辅政的上官桀，以及汉武帝之子、燕王刘旦。上官桀为了谋取汉朝的最高权力，依附于昭帝之姊盖长公主。他首先巴结公主之近幸丁外人，极力为丁外人求官进爵，得到公主的宠幸，与丁外人、公主等结成死党，而后进一步通过公主，将其年幼的孙女送入宫中，封为婕妤，意欲通过公主和孙女，来取代霍光与昭帝的地位。而燕王刘旦，则因长于昭帝而不得嗣立，心怀不满；另一位辅政大臣、御史大夫桑弘羊认为在汉武帝时期制定过盐铁专营的政策，使国家富强起来，功劳莫与之比，不甘居于霍光之下，遂产生了推翻现政权，由他与上官桀来主政的欲念，与燕王刘旦勾结起来。这就形成以长公主和燕王刘旦为首的两股政治势力。他们估计到依靠各自的势力还不足以推翻汉昭帝，只好暂时联合。按照上官桀的计划，要先利用燕王刘旦的身份，发动政变，在政变成功之后，再除去燕王旦，由他来掌握朝政。这个暂时联合起来的政治集团，自然要把矛头首先指向阻碍他们夺取政权的霍光。

    昭帝始元六年（前80年），上官桀、燕王旦等人加紧了政变的准备工作。燕王刘旦将夺取帝位的赌注压在上官桀身上，前后派遣十多人，带了大批金银珠宝，贿赂长公主、上官桀、桑弘羊等人，以求支持他夺取帝位。他们袭用“清君侧”的故伎，令人以燕王旦的名义上书昭帝，捏造说：霍光正在检阅京都兵备，京都附近道路已经戒严；霍光将被匈奴扣留19年的苏武召还京都，任为典属国，意欲借取匈奴兵力；霍光擅自调动所属兵力。所有这些，是为推翻昭帝，自立为帝。并声称燕王刘旦为了防止奸臣变乱，要入朝宿卫。上官桀企图等到霍光外出休假时，将这封奏章送到昭帝手中，而后再由他按照奏章内容来宣布霍光的“罪状”，由桑弘羊组织朝臣共同胁迫霍光退位，从而废掉汉昭帝。

    他们没有想到，当燕王刘旦的书信到达汉昭帝的手中后，就被汉昭帝扣压在那里，不予理睬。次日早朝，霍光上朝，也已得知上官桀的举动，就站在张贴那张汉武帝时所绘“周公负成王图”的画室之中，不去朝见昭帝，以此要求昭帝表明态度。汉昭帝见朝廷中没有霍光，就向朝臣打听，上官桀乘机回答说：“因为燕王告发他的罪状，他不敢来上朝了。”昭帝十分平静，随即召霍光入朝，果断地说：“我知道那封书信是在造谣诽谤，你是没有罪的”；“如果你要调动所属兵力，时间用不了十天，燕王刘旦远在外地，怎么能够知道呢！”“况且，你如果真的要推翻我，那也无须如此大动干戈！”上官桀等人的阴谋被十四岁的昭帝一语揭穿，所有在朝大臣对昭帝如此聪明善断无不表示惊叹，霍光的辅政地位得到了稳固。

    上官桀等人的阴谋被揭穿之后，就干脆赤膊上阵，准备发动武装政变。他们计划，由长公主设宴请霍光，命埋伏的兵士将霍光杀掉，废除汉昭帝。就在这危急关头，长公主门下一名管理稻田租税的官员将上官桀等人的阴谋向大司农杨敞（司马迁之婿）告发，杨敞转告了谏大夫杜延年，于是昭帝、霍光掌握了上官桀等人的武装政变计划，遂在这一政变未发动之前，就先发制人，将上官桀、桑弘羊等主谋政变的大臣统统逮捕，诛灭了他们的家族。长公主、燕王刘旦自知不得赦免，遂先后自杀身亡。这场由上官桀发动的政变最后被霍光粉碎了。九岁的上官皇后因为年纪幼小，又是霍光的外孙女，所以未被废黜。

    汉昭帝在位13年。昭帝无嗣，他死后，由谁来继承帝位，这是霍光等公卿大臣面临的困难问题。当时，汉武帝的儿子，还有封广陵王的刘胥，但他行事不检点，有失皇家道统，汉武帝生前就很不喜欢他，他们便选择了汉武帝之孙，袭封昌邑王的刘贺，让他来继承帝位。但这个刘贺本是纨绔子弟，荒淫无度。汉武帝死时，他竟于服丧期间四处游猎，虽有属下苦谏不止，他仍放纵自若。昭帝死后，霍光等大臣以太后的名义派车迎接他入京登基，他喜不自胜。在进京途中，就派人掠取民间女子、财产，并让其属吏。家人都穿上刺史的官服，封官进爵，任其胡作非为。看到这种情况，霍光等众大臣都感到事态严重，如果不及早处置，将会使汉家天下断送到刘贺的手里。于是在刘贺即位的第27日，霍光将所有在朝大臣、列侯、博士等召集到未央宫，举行会议，当众宣布了要废掉刘贺，另选贤明的意图。与会大臣、博士等人一听这个消息，都感到意外，因为废立之事，关系重大，谁也不敢发言。田延年看到这种情况，立刻站起来发言，假意斥责霍光，说汉武帝把汉家天下寄托给霍光，就因为霍光忠诚于汉室，能使汉朝长治久安。现在如果继续维持刘贺的帝位，那汉家天下就会断送，你霍光将来死了，又有何面目去见汉武帝呢！他手握剑柄，严词厉色，声称如有人敢反对废除刘贺他就将其就地斩杀。与会者见此情景，都同意由霍光主持，废除刘贺，另选贤明之主。于是，霍光联合杜延年、杨敞等人，十分慎重地写了一封奏章，列举了刘贺的种种劣迹，上奏当时主持汉室的十五岁的上官太后，并将刘贺召至未央宫承明殿，宣读了这封奏章，即日将刘贺废掉，并将其所属官吏统统收捕，随后又将刘贺发送回昌邑。

    而后，公元前74年，霍光又将长期生活于民间的汉武帝与卫子夫的曾孙、戾太子刘据之孙，十八岁的刘询（本名刘病已）立为皇帝，这就是汉宣帝。

    刘据因巫蛊之祸死后，出生仅数月的刘询被送至民间收养，后遇赦回至皇宫，被称为皇曾孙，但其地位与平民无异，娶啬夫许广汉之女为妻。由于他自幼生长民间，左右无众多心腹，在中央亦无势力，霍光便以其躬行节俭，慈仁爱人为由，迎入未央宫，继皇帝位。

    宣帝深知霍光家族在朝中的势力尊盛日久，内不能善，所以在其继位之初，当霍光表示归政时，宣帝谦让不受。霍光遂继续把持朝政，群臣凡事先请示霍光，然后再向宣帝报告。霍光每次入朝拜见时，宣帝内严惮之，若有芒刺在背，表面上却作出虚己敛容，礼下之已甚的姿态。

    即便如此，仍无可避免地与霍氏家族发生了冲突。

    霍光夫人霍显意欲将其小女立为皇后，以进一步控制皇帝。群臣阿附霍光，也建议宣帝纳霍女为后。宣帝不忘旧义，坚持立许氏为皇后，这便引起了霍氏家族的不满。霍妻竟趁许后临产之机，指使女医官将其毒死，然后由霍光施加压力，将霍女立为皇后。宣帝对许后之死虽然心怀疑虑，但迫于形势，对霍皇后也只好作出宠爱的样子。一年后（是霍光死后一年），宣帝立许后之子为太子，霍光夫人故伎重演，教霍皇后在太子饮食中下毒，未遂。

    地节二年（公元前68年）霍光病卒后，宣帝开始亲政。此时霍禹为右将军，霍山以奉车都尉领尚书事，霍氏一门仍十分显赫，广治第室，奢侈无度。

　　霍光之子霍禹承袭了博陆侯爵位后，霍光之妻霍显私自改变了霍光生前自造的坟墓，将坟墓的规模极具扩大，无以复加。除此之外，还大肆修造宅第，出门则乘坐华丽的舆辇，霍家奴婢用五采仪仗服侍霍显在家中玩耍。霍光死后，霍显独居府中，竟与外人私通。

    霍禹、霍山等人也是广置家宅，经常在府中骑马作乐。霍云则经常请病假不上朝谒见皇帝，而是与宾客外出打猎游玩，只派一名家奴替他上朝，而朝中竟无人敢斥责他的这种行为。霍显和她家中的女眷则可没有限度地频繁出入于长信宫中。

    宣帝在民间时就听说过霍家长久以来既富且贵，家中有为非作歹的事情。霍光死后，宣帝亲理朝政，任命御史大夫魏相为给事中。霍显对霍禹、霍山、霍云等人说：“你们不能承继大将军的余业，现在魏相做了给事中，如果有朝一日，有人弹劾我们霍家，您们能救得了自己吗？”后来又发生了两家奴争道，霍家家奴跑到御史府内无理取闹的事件。有人将这一事件报告给了霍家，霍显等人才开始忧虑。又赶上魏大夫做了丞相，经常在罢朝期间去见宣帝奏事，而平恩侯许广汉与侍中金安上等人则可直接出入朝省之中。当时，霍山领尚书事，而宣帝命令官民奏事不用通过尚书，众臣也可以单独晋见皇帝。这一命令让霍家极为恼恨。

    宣帝即位之初，册立了在民间时所取的妻子许平君为皇后，霍显因为疼爱自己的小女儿霍成君，想要让她当上皇后，于是就私下里买通了宫中的女侍医淳于衍，乘许皇后怀孕调养之际用毒药将其害死。毒杀许皇后之后，霍显通过霍光的关系，成功地将霍成君送上了皇后的宝座。许皇后死后，有司将侍奉许皇后的侍医全部缉拿入狱，弹劾淳于衍办事不利，加紧审问她。霍显害怕她谋杀皇后的罪行败露，就把事情的原委向霍光和盘托出。霍光非常震惊，本想揭发妻子的罪行，但最终因为于心不忍而作罢。他还上奏宣帝，为淳于衍开脱罪行。宣帝四年，这时霍光已死，宣帝立许皇后所生的儿子刘奭为太子。当霍显得知这个消息后，气得口吐鲜血，生气地说：“这是民间时所生的儿子，怎能立为太子！若日后皇后生了儿子，岂不是只能封王了吗！”于是她又让皇后霍成君找机会毒死太子。霍后多次召太子一起进食，但太子的饭食都要有人先尝过之后太子才会吃，所以，她想下毒害死太子的事始终未能得手。

    霍光死后，谋害许后的事漏了风声，宣帝才有所耳闻，但他并没有立刻调查这件事。有人向宣帝上书，说霍光专制擅权，主弱臣强，现在其子孙用事，愈发骄恣，长此下去，恐危宗庙，建议宣帝采取措施。由于当时凡吏民上书皆先通过尚书，所以都被霍山扣押下来。

    为削夺霍氏权力，宣帝采取了一系列措施：

    首先，他亲自处理朝政， 五日一听事，并下令凡吏民奏事不通过尚书，直接向皇帝报告。

    其次，他进行了一系列人事变动，调整了霍氏亲信的职位，暗中削夺了他们的实权，将要害职位都委任给了自己所亲信的许、史两家子弟。封太子的外祖父许广汉为平恩侯，许广汉的两个弟弟，一封为博望侯，一封为乐成侯；又令与霍氏有隙的御史大夫魏相给事中。最后，将霍氏家族调离实权位置，如迁霍禹为大司马，无印绶，罢其右将军屯兵官署；将霍光长女婿邓广汉由长乐卫尉调任少府；女婿、度辽将军、未央卫尉范明友调任光禄勋，不久后，又收其度辽将军印；次女婿、诸吏中郎将、羽林监任胜调出京城，任安定太守；霍光姊之女婿张朔由给事中、光禄大夫调任蜀郡太守；收中女婿赵平骑都尉印绶，调任散骑都尉、光禄大夫，赴外地屯兵；孙婿、中郎将王汉调任武威太守。霍氏家族诸将从前统领的胡越骑、羽林及两宫卫将屯兵，全部改由宣帝亲信的许、史两家子弟统领。

    霍禹当了有名无实的大司马，因为对朝廷不满而称病罢朝。霍禹以前的长史任宣前来探望他。霍禹愤愤地说：“我哪里有病？当今皇帝如果不是因为我父大将军，岂能有今天！现在大将军尸骨未寒，他竟然极力排斥我们霍家，而重用许、史两家，真是气死人了！”任宣见霍禹怨望极深，就劝他说：“昔日大将军的做法怎能再次来过？国家权柄、生杀大权皆操在大将军手中。当初廷尉李种、王平、左冯翊贾胜胡及车丞相女婿少府徐仁等人皆因忤逆了大将军的意愿而下狱致死；一些名不见经传的小人物却因为得到了大将军的宠信而飞黄腾达，晋封侯爵，官至九卿。朝中百官都听命于大将军所重用的冯子都、王子方等，连丞相都不放在眼里。现在，情况不同了，许、史两家都是当今皇上的骨肉至亲，享受尊贵是理所应当的。如果大司马您对此怀恨在心，我认为这是不合适的。”霍禹无言以对，过了一些时日，就照常上朝了。

    霍显及霍禹、霍山、霍云等见到自己的实权被一天天地削弱，经常抱头痛哭，发泄不满。霍山说：“现在丞相当政，皇上重用他，他竟然将大将军在世时所制定的法令全部改了，把公家的田地分给农民，发扬大将军的过失；还有一些巧舌如簧，喜欢胡言乱语的儒生，大将军平时最讨厌这些人，可当今皇帝却乐意与这些儒生谈论事情。这些儒生经常上书奏事，很多都是针对我们霍家的。曾经有人上书说大将军秉政时期，朝中主弱臣强，大将军则专擅朝政大权。现在，他的子孙都在朝中为官，他的亲朋骄傲放纵、肆意妄为，这样下去恐怕会危及朝廷的稳定，如今，国家多次出现灾异情况，都是因为这个原因。那些奏疏言辞非常恶毒，我多次将这些奏疏压下，不上奏皇帝。可后来上书的人越来越狡猾，他们全都上奏密封的奏疏，皇上命令中书令亲自去取，不再经过我上奏，也越来越不信任我。”霍显问：“丞相总是指责我们家罪恶深重，难道他就一点罪都不犯吗？”霍山答道：“丞相为人廉洁、刚正，他怎么会有那些犯罪之举呢！更何况，我们霍家子弟也确实不争气，让人家抓住了许多把柄；又听闻民间传言说我们霍家害死了许皇后，怎么可能有这种事呢？”霍显看到情况紧急，就把她谋害许皇后的事告诉了霍禹、霍山、霍云等。三人听后大惊失色：“这么重大的事怎么不早点告诉我们呢！皇上这样排斥我们霍氏家族的人，相信就是因为这个原因。这可是件天大的事，一旦追究下来，我们的罪可太大了，这该如何是好？”所以，他们才有了谋反的念头。

    霍云的舅舅李竟有个好朋友叫张赦，他竟向李竟建议由太夫人霍显出面，通过太皇太后将当时炙手可热的丞相魏相和平恩侯许广汉除掉，然后挟持皇帝。结果他们的阴谋被人告发，遭到廷尉的捕拿，后来还是太后下诏才得以被免罪。这件事发生后，霍山等人更加恐惧，一家人商量说：“因为皇上尊重太后，这件事才得以不了了之，但是，我们所犯下的罪陛下依然心知肚明，况且又有谋害许皇后的事，陛下虽然宽厚，现在没有追究我们，可他身边的亲信能对我们听之任之吗？现在他们虽然没有动手，但他们只要一动手，我们就要被灭族啊！既然这样，不如我们先动手！”于是让霍家的女儿、孙女们到他们的夫婿那里报信，众夫婿都表示赞同。

    又赶上李竟与诸侯王相交而获罪，波及到了霍家。宣帝下诏免了霍山、霍云等人的官职。霍家的诸女因为对太后无礼而被宣帝斥责；与霍家关系亲密的冯子都因为多种罪行受到宣帝的制裁，这使得霍家人更加害怕。从此，霍家的人疑心生暗鬼，总是见到或梦见不详的事情，举家忧愁。霍山说：“丞相擅自减少供奉宗庙的羔、菟、蛙等祭品，可以以此来定他的罪！”于是他们谋划要利用太后宴请博平君的机会，将丞相魏相、平恩侯许广汉等召来，再让范明友、邓广汉等人用太后的旨意将他们处斩，然后废掉现在的皇帝、立霍禹为帝。他们的阴谋还没有得以实行，霍云就被加封为玄菟太守，太中大夫任宣被加封为代郡太守。霍山因为与人私下秘密通信而被定罪，霍显上书愿献出城西的宅邸、千匹好马等来为霍山赎罪。她的上书刚刚递上去，霍家企图杀死丞相、平恩侯以及废帝篡位的阴谋被发觉了，霍山、霍云、范明友等畏罪自杀，而霍显、霍禹、邓广汉等被缉拿入狱。最终，霍禹因谋反罪被腰斩，霍显及霍氏家族的其他成员也被斩首弃市。因与霍家有关联而被定罪诛灭的达数千家。霍氏家族当中，只有皇后霍成君没有被杀，而是被废黜，移居昭台宫，十几年后，又被移往云林馆，在那里自杀而死。

    霍光善于用人，在他的周围形成了一个急于奉公的政治团体。他辅政之初，大臣议事的殿中曾发生怪异现象，众大臣都很惊疑，他为了防止意外变故，把掌管皇帝印玺的郎官召来，要郎官交出印玺，避免有人盗用它变乱朝政。但是这位执掌印玺的郎官却不愿把印玺交给他。当霍光想要夺取印玺时，这位郎官顿时愤怒，按着剑柄说，我的头可得，印玺不能交出去！这样忠于职守，舍生忘死的人，自然是国家需要的人材，因此，霍光很快给他增加了俸秩。他在平定上官桀等人政变后所用的丞相田千秋、太仆杜延年、右将军张安世等人，都是昭、宣之际颇有治略的人材，正是由于能够知人善任，团结了一大批政治素质较高的人物，才使他的各项措施得以顺利推行。

    霍光也十分注意自身的政治修养，注意以儒学经术约束自己。他的一举一动，都有一定规矩，都要合于礼法。这些从他废除刘贺的奏章中也可以看出。他在奏章中列举的刘贺的劣迹，多数属于不遵礼法，不守古训的事情。他重视贤良、文学的作用，从思想意识上来说，也是受到了儒家思想的影响的。

    同历史上任何有作为的政治家一样，霍光也受到时代和历史的局限，摆脱不了光宗耀祖思想的束缚，也摆脱不了身为将相，子弟封侯的腐朽传统。在他在位时，他的宗族、子弟都已是高官显贵，霍氏势力亦已“党亲连体，根据于朝廷”，而他的宗族又多不奉公守法，为霍氏家族留下了祸根。

    新即位的汉宣帝在民间时，娶了小吏的女儿许平君，即位后，大臣们都建议立霍光的小女霍成君为皇后，宣帝下诏寻找微贱时遗失的一柄宝剑，大臣们懂得了皇上的心意，便奏请宣帝立许平君为皇后。霍光之妻霍显，她一直想让她的女儿成为皇后，便买通御医，在宣帝即位三年之后毒死了已经怀孕的许皇后。

    公元前68年，霍光去世，宣帝曾亲自前住探望。大臣魏相通过许皇后的父亲上了秘密奏章，指霍氏一门的骄奢放纵。霍光去世后，这种情况反而变本加厉，甚至密谋发动政变，最终在公元前65年被灭族。