西汉天汉元年，苏武一行受武帝派遣出使匈奴。使命完成以后，匈奴单于准备派遣使者把苏武一行送回汉朝，苏武他们也安心等待，准备返回。
就在此时，匈奴发生了一次谋反事件，苏武回汉的事也化为泡影。
长水有个匈奴人名叫卫律，他的父辈生长在汉朝。卫律后来作为汉朝的使者出使匈奴，不久又投降了匈奴。匈奴单于对卫律非常宠爱和信任，封他为灵王。卫律有个部下叫虞常，对卫律很不满，就和苏武的副使张胜商议，想杀死卫律，并且把单于的母亲劫持到汉朝，用以向汉朝报功请赏。张胜满口应允。由于虞常做事不严，计划泄露。匈奴单于派卫律审理此事。
虞常在被审讯时，禁受不住严刑拷打，说出了跟张胜的约定。匈奴单于大怒，立即决定把汉朝使者全部扣押起来，并让卫律把苏武找来听审。
苏武大义凛然地说：“我是无辜受审，这有损于我的人格和气节，会玷辱我的使命，你们就是不杀我，我也没有脸再回汉朝了！”说罢，立刻拔刀自刺。卫律大吃一惊，赶紧上前抱住了苏武。可是，苏武已经受了重伤。卫律派人抢救。
匈奴单于对苏武宁死不屈的民族气节十分敬佩，每天一早一晚都派人问候苏武，同时下令把张胜押进大牢。张胜是个怕死的人，很快就变节投降了。
卫律见张胜投降了，就威逼苏武。苏武在刀剑之下依然神情坦然，镇定自若。卫律见苏武不怕恫吓，只好收起了凶相，以荣华富贵相诱。苏武不为所动。卫律无计可施，只好把情况向匈奴单于报告。匈奴单于听了，越发觉得苏武气节不凡，更想让苏武投降。他下令把苏武关在一个破败的地窖里，不供给饮食，想以此软化苏武的意志。
时值严冬，地冻三尺，狂风卷着雪片，吹进破烂不堪的地窖。苏武久病初愈，身体虚弱，再加上每天饥肠辘辘，只好躺在地上，渴了就吃飘进来的雪花，饿了就把毡毛和雪片一起吞咽下去充饥。日子一天天地过去了，苏武竞顽强地活了下来。
匈奴单于无奈，让他到北海去牧羊。清晨，苏武拿着节杖，赶着羊群，到茫茫的草原上去放牧；晚上，苏武回到住处，又把节杖抱在怀里，酣然入睡。就这样，年复一年，节杖上的穗儿脱落了，可苏武还是时刻不离手。
公元前87年，汉武帝去世。大臣霍光、上官桀等人拥立汉武帝的小儿子弗陵继承皇位，称做汉昭帝。
汉武帝时期，汉匈之间接连打了几十年的仗。双方都动用了大量的人力物力，平民百姓也蒙受了很大的牺牲，和平安定成了人们的普遍愿望。公元前81年，汉匈议和。汉朝要求匈奴送回苏武等人。匈奴单于为了表示要改善关系，便决定让苏武等人回汉朝。
公元前81年春，离别汉朝十九年的苏武顶着满头白发回到长安。跟随苏武出使的一百多人，死的死，降的降，回来时就只剩下九个。汉昭帝为了表彰苏武的功劳，封他为黄属国。