从秦朝到汉朝，北方边境上和匈奴的战争几乎没有停止过。到了公元前100年，且鞮侯做了匈奴单于。他把过去扣留的西汉使者都送回来，想同西汉政府讲和。汉武帝也派了中郎将苏武带着张胜、常惠两名副手和许多礼物去慰问且鞮侯单于。

在苏武出使匈奴以前，有一个叫卫律的汉朝使者投降了匈奴，被封为丁灵王。卫律的副手虞常虽然跟着卫律投降了匈奴，可心里一直想返回汉朝家乡。他和苏武的副手张胜原来是朋友，这回两人见面，就偷偷地商量，打算杀了卫律，一同回去向汉武帝请功。没想到这件事走漏了风声，单于就把虞常抓了起来。

苏武本来不知道这件事，可是单于却借着这个事由把苏武也扣押起来，还派卫律去劝他投降。苏武听说了，就对手下人说：“丧失气节，污辱使命，就算活着，还有什么脸面见人呢!”一面说，一面拔出宝剑朝自己心口刺去。卫律赶紧抱住苏武的胳膊，可是苏武已经受了很重的伤，满身是血倒在地上，经过医生长时间抢救，才苏醒过来。单于十分钦佩苏武，等苏武伤好后，他又派卫律去劝苏武投降。卫律当着苏武的面，先杀了虞常，又对张胜说：“你犯了死罪，要想活命，就得投降。”张胜贪生怕死，投降了匈奴。

卫律回过头来对苏武说：“你的副手有罪，你也得连坐。”苏武说：“我既不是同谋，又不是他的亲属，为什么要连坐?”卫律拔出刀来威胁苏武，苏武挺着脖子，脸上毫无惧色。

卫律一看硬的不行，又来软的。他对苏武说：“你看我投降了匈奴，单于封我为王，给我几万个手下人和满山的马群。你今天投降，明天就能和我一样，何必这么固执，白白地丢了命，尸首丢在野地里，有谁知道呢?”苏武再也忍不住了，他站起来，指着卫律，义正辞严地说：“卫律，你本是汉人的儿子，汉朝的臣下，你忘恩负义，背叛了父母之邦，厚颜无耻地投降了敌人，亏你还有脸跟我说这些话!告诉你，我决不会投降，你杀了我，将来你也没有好下场!”

卫律劝降失败，单於又换了一个法子，他要用艰苦的生活摧垮苏武的意志。他把苏武关在一个地窖里，不给他吃的、喝的，苏武就用雪水解渴，用地窖里的旧皮带和羊皮充饥。

单於见苏武仍不屈服，就把他流放到北海(现在俄罗斯的贝加尔湖)去放羊，对他说：“什么时候公羊能生小羊了，什么时候放你回去。”苏武在北海整整生活了19年，他始终没有忘记自己是汉朝的使者，手里总是握着那根代表汉朝朝廷的使节(使节是一根七八尺长的棍棒，顶部略弯，挂着一串串绒球，是用来表示使者身分的)。经过多年的风吹雨淋，使节上的绒球都掉光了，成了一根光秃秃的棍子，可是他白天仍然拿着使节放羊，晚上抱着使节睡觉。在他心目中，这根光秃秃的使节，就是国家的象征，就是父母之邦的象征。

就在这十几年里，汉朝和匈奴之间又发生了几次大的战争，汉朝的将军李陵被匈奴俘虏后，也投降了匈奴。单於听说李陵和苏武原来是好朋友，又派李陵去劝说苏武投降。

李陵来到北海，对苏武说：“你反正也不能回到汉朝去了，白白在这么荒凉的地方受苦，不管你有多么忠心，有谁知道你呢?再说，你的母亲和两个弟弟已经死了，妻子也改嫁了，剩下的亲人也不知道流落何方，你这么苦熬着，究竟是为了什么呢?”苏武回答说：“我从小就决心报效国家，就是肝脑涂地，碎尸万段，也在所不辞，请你不要再说了。”李陵仍不死心，他说：“我是为你着想啊，请你再好好考虑一下吧。”苏武站起来说：“你如果硬逼着我投降，我就死在你的面前!”苏武的浩然正气，使李陵感到非常惭愧，他叹着气说：“你真是忠义之士，我和卫律都是万恶不赦的罪人啊!”公元前82年、壶衍鞮即位做了匈奴单於，他派使者到汉朝去，请求同汉朝讲和。这时候，汉武帝已经死了，汉昭帝同意跟匈奴和好，但是要求匈奴释放苏武等人。

被匈奴整整扣押了19年的苏武，终於回到了自己的祖国。苏武出使匈奴的时候刚刚40岁，等他回国时，已经快60岁了。当初他带往匈奴的随从人员一共有100多人，最后只有九个人同他一道回来。苏武进入长安的那一天，长安城里的老百姓都出来观看。他们见苏武须发皆白，手里仍然十分庄重地握着那根已经光秃秃的使节，都感动得流下了眼泪。

千百年来，苏武的故事一直在我国民间广泛流传。南宋末年的民族英雄文天祥曾经写出“在齐太史简，在晋董狐笔，在秦张良椎，在汉苏武节”这样的诗句，用来赞扬苏武忠於祖国、威武不屈的崇高气节。后来，有人还把苏武的故事谱写成曲子，这首苍凉悲壮的《苏武牧羊》，在中国近代一百多年的斗争中，曾经激励了无数仁人志士，为挽救中华民族的危亡，抛头洒血，奋斗不息。