公元前六○年，中国政府任命郑吉担任首位西域总督（都护），他把总督府（都护府）设在乌垒王国（新疆轮台东北），中国在西域势力，更为增强。
人的恶运有连锁性，国家也是如此。匈奴汗国在西方被乌孙王国击败，在东方也被新兴的乌桓部落（内蒙古西辽河上游）击败，国势日形萎缩。
国势萎缩一定引起国人的苦闷和政权的不稳定，又加上此时在位的握衍胸提单于暴虐好杀，更促使危机加重。公元前五八年，东方将领们拥立一位亲王即位，号称呼韩邪单于。握衍胸提单于出兵讨伐，战败被杀。但西方将领们也拥立另一位亲王即位，号称屠耆单于。两个单于，互相攻击。明年（前五七），另外又崛起了三个单于，干是五单于并立，全国大乱。经过一番为敌报仇式的自相残杀，最后，只剩下呼韩邪单于。可是他的一位族兄却又在东方自立，号称郅支单于。公元前五四年，郅支单于向西进攻，进入王庭（当时匈奴的王庭设在蒙古哈尔和林），呼韩邪单于节节向南败退。从这一年起，匈奴分裂为南北两个汗国。两国汗国为了争取外援，争着向中国奉承乞怜和争着派遣太子到中国充当人质。
呼韩邪单于不久就无法支持郅支单于的攻势，公元前五一年，他率领南匈奴汗国全部人民牲畜，向中国投降。这是一件爆炸性的大事，呼韩邪单于到长安朝觐时，中国皇帝刘病已在皇宫中大摆酒筵欢迎他。呼韩邪单于要求迁居河套，刘病已同意，并派大将韩昌率领骑兵一万六千人，沿着黄河驻防保护。这一次朝觐对西域各国是一个晴天霹雳般的震撼，他们认为绝不可抗拒的庞大的匈奴汗国，竟被中国征服。
呼韩邪单于自此不断朝觐，最后一次朝觐是公元前三三年。当时皇帝刘爽（刘病已的儿子）把一位宫女王昭君赏赐给他。刘爽并不认识王昭君，等到辞行时才发现她竟是一位绝色美人，使他那数万名后宫的小姐们都黯然失色，他大大地跳了起来，下令把宫廷画家毛延寿杀掉，因为毛延寿没有把她的美貌画出来。关于王昭君的故事，中国流传最久也最广，被写成很多诗歌戏剧，家喻户晓。
呼韩邪单于在中国全力援助下，力量渐大，不断反攻。现在轮到郅支单于不能支持了。于是向西移动，侵入西域北境，灭掉坚昆王国（西伯利亚叶尼塞河上游）和丁零部落（贝加尔湖畔）。他向中国要求送还充当人质的太子，中国政府慷慨答应，派使节谷吉一直把太子护送到他的临时首都坚昆王城。可是，万万想不到，郅支单于不但毫无感谢之情，反而记起中国援助他的对手呼韩邪单于的怨恨，竟把谷吉杀掉。郅支单于杀了谷吉之后，才发现杀掉中国使节的严重性，他放弃坚昆，继续向西迁移。就在这时候，康居王国（哈萨克突厥斯坦）屡屡被乌孙王国击败，想借匈奴的力量保卫自己，两国遂结成同盟。”
公元前四四年，郅支单于率领他的部下，到达康居。康居王把女儿嫁给郅支单于，郅支单于也把女儿嫁给康居王。即行出兵攻击乌孙，乌孙王国不能抵御，西界边陲，几乎全部残破。
但康居王国和北匈奴汗国间的蜜月很快结束，郅支单于以康居王国的保护人自居，而且性情粗暴，把康居王的女儿也杀掉，又把康居贵族当作奴隶一样驱使迫害。又兴筑城垒，向西域各国发出通知，要他们进贡。康居王国深悔引狼入室，但已无法挽救。
公元前三六年，距郅支单于杀中国使节八年，中国西域总督府副指挥官（副校尉）陈汤调发各国军队，连同屯垦兵团，共四万余人，分两路向郅支单于夹攻，南路翻越葱岭（帕米尔高原），穿过大宛王国；北路则穿过乌孙王国，在郅支城（哈萨克江布尔）下合围。郅支城陷落，联军斩下郅支单于的头，传送航空距离三千三百公里的中国首都长安。陈汤在他给政府的报告中，陈述所以发兵的理由。他说：“凡侵犯中国的，逃的再远，也要诛杀。”北匈奴汗国灭亡。
呼韩邪单于成为匈奴汗国唯一政权，不久即向中国请求离开河套，回到北方他自己的故土。