匈奴汗国有足够的强大，中国在公元前二世纪获得的胜利，包括夺取了它最富庶的河西走廊，也只能使它受创，不能使它屈服。而受创的匈奴汗国，仍是劲敌。
前一○一年，且囗侯单于即位，表示愿与中国和解，把过去所拘留的中国使节，一齐遣回长安。前一○○年，中匈恢复邦交，中国派遣正使苏武、副使张胜赴匈奴汗国报聘。莫名其妙的怪事就发生在这位丑恶的副使张胜身上，张胜跟早先投降匈奴汗国的一些汉人，密谋乘且囗侯单于外出打猎时，杀掉匈奴的智囊卫律，然后劫持单于的母亲，逃回中国，这种卑鄙计划，竟出自高级外交官员，使人心惊。事情败露后，经过一场流血杀戮，爱国心切的张胜露出投机的原形，投降匈奴。而毫不知情的苏武却拒绝投降，匈奴把他放逐到冰天雪地的北海（贝加尔湖）。两国刚刚恢复的邦交，被一个小政客破坏，重新以兵戎相见。
苏武被放逐贝加尔湖，靠牧羊维生，二十年之久，始终拒绝投降，匈奴汗国宣称他早已死亡。前八一年，中匈复交，中国派到匈奴汗国的使节听到苏武仍然活着的消息，就告诉匈奴说：中国皇帝曾射下一只雁，雁足上系着苏武求救的信件。匈奴吃了一惊，才把他释放。苏武出使时只四十余岁，回国时已六十余岁，妻子早已改嫁，家人也早星散。他的故事，两千年来，中国有无数小说、戏剧和歌曲，歌颂他忠于国家坚忍不屈的伟大精神。
公元前九九（苏武被囚的第二年），中国大军分两路向匈奴汗国进攻，一路是大将李广利，出兵酒泉（甘肃酒泉），深入西域，到达天山，被匈奴击败。另一路大将李陵的遭遇，更为恶劣。李陵率领五千步兵，出兵居延海（内蒙古额济纳旗），向北深入沙漠，行军三十余日，挺进到浚稽山（蒙古戈壁阿尔泰山），跟匈奴且囗侯单于的三万人相遇，李陵迎战，杀数千人。且囗侯单于召集援军，约八万余骑，李陵只得撤退。但最强悍的步兵，摆不脱骑兵的追击。匈奴兵团分为两翼，左右展开，把李陵兵团夹在当中。李陵且战且走，数日之后，退到一个不知名的山谷，规定士兵受伤三次以上的才准坐车，受伤两次以上的改为驾车，受伤一次的继续战斗，又杀匈奴三千余人。再走四五日，到达一片苇草茂盛的畜牧地带，匈奴兵团顺风纵火，李陵却先行纵火自救。再南行，到达山丘区域，且囗侯单于命他的儿子攻击，李陵兵团在树林中设下埋伏，又杀匈奴三四千人。且囗侯单于以元首之尊，亲自指挥十六倍于敌人的精兵，追击十余日，不能取胜，简直愤怒得发狂，攻击更加猛烈。李陵在沙漠中再南行四五日，又杀匈奴两千余人。且囗侯单于已经发现李陵是一支孤军，更紧追不舍。两翼越过李陵，在李陵前方合围，遮断退路，箭如雨下，呼喊投降。李陵继续战斗，一日之内，射出五十万箭，箭遂用尽。就抛弃车辆辎重，全体徒步前进，还有三千余人，进入囗汗山（蒙古谱颜博格多山），匈奴兵团堵住谷口。入夜，李陵徘徊阵垒之间，叹息说：“再给我们每人十枝箭，就能支持到边界。”然而，他没有箭。夜半，李陵下令击鼓突围，鼓已破裂，不能发声。李陵命向四面八方冲出，一以分散敌人注意，一以希望有人能逃回中国向政府报信。他与另一位将军韩延年上马，率亲军十余人，越岭南走。匈奴兵团潮水般追击，李陵身上除短兵器外，没有他物，不能阻挡敌人缩小包围圈。终于，韩延年中箭而死，李陵被俘。
两年后（前九七），大将李广利、韩说、公孙敖，分别出朔方（内蒙古杭锦旗北）、五原（内蒙古包头）、雁门（山西右玉），三路再向匈奴汗国进攻。匈奴早得到消息，向漠北撤退，三路大军都无收获。七年后（前九○），李广利再出五原，而皇帝刘彻却在首都长安，以诅咒的罪名把李广利的妻子逮捕下狱。李广利正在乘胜追击，听到消息，立即抛弃大军，只身向匈奴投降。这是刘彻的残忍性格逼出来的国际笑柄，并且使反击匈奴的军事行动，再度受到挫折。
公元前一世纪初期，中国站在失利的一边，但并没有大战，李陵以五十步兵对抗匈奴八万骑兵，只是一场苦斗而已。匈奴汗国竭力避免与中国决战，希望积小胜为大胜，使中国疲惫。这种情形，维持四十年，直到公元前一世纪中叶。