缑王是昆邪王姐姐的儿子，与昆邪王一起降汉，后来又跟随浞野侯陷没在匈奴，以及卫律所带领的那些被迫投降匈奴的人中，暗中共同策划绑架单于的母亲阏氏归汉。
无巧不成书，他们在策划这次行动的时侯正好碰上苏武等人到匈奴出使。
虞常在汉的时候，一向与副使张胜有交往，私下拜访张胜，说：“听说汉朝天子很怨恨卫律，我虞常能为汉朝解决这个祸患，准备事先埋伏弩弓将他射死。
我的母亲与弟弟都在汉朝，希望得到皇帝的赏赐。”
张胜许诺了他，把财物送给了虞常。
一个多月后，单于外出打猎，只有阏氏和单于的子弟在家。
虞常等七十余人将要起事，其中一人夜晚逃走，告发了这件事。
单于的子弟发兵与他们交战，缑王等都战死，虞常被活捉。
单于派卫律审理这一案件。张胜听到这个消息，担心他和虞常私下所说的那些话被揭发，便把事情经过告诉了苏武。
苏武说：“事情到了如此地步，这样一定会牵连到我们。受到侮辱才去死，更对不起国家！”
苏武因此想自杀，张胜、常惠一起制止了他。
虞常受不住单于的刑罚，果然供出了张胜。
单于大怒，召集许多贵族前来商议，想杀掉汉朝使者。
左伊秩訾说：“假如是谋杀单于，还有什么更严的刑法呢可以用呢？
应当叫他们全部投降，才能体现出单于的威严。”
单于派卫律召唤苏武来受审讯，苏武对常惠说：“我作为大汉的使节在这里丧失气节、玷辱使命，即使活着，还有什么脸面回到家乡去呢！”
苏武说完便拔出佩带的刀自刎。
卫律大吃一惊，亲自扶好苏武，马上命人骑快马去找医生。
医生在地上挖一个坑，在坑中点燃微火，然后把苏武脸朝下放在坑上，踩他的背部，让淤血流出来。
苏武本来已经断了气，这样过了好半天才恢复气息。
常惠等人哭泣着，把苏武抬回营帐。
单于认为苏武的气节值得敬佩，早晚派人探望、问候苏武，而把张胜逮捕监禁起来。
苏武的伤势逐渐好了。单于派使者通知苏武，一起来审问处罚虞常，“杀鸡给猴看”想借这个机会使苏武投降。
单于派人审问了虞常，当场将他斩首，
卫律说：“汉使张胜，谋杀单于亲近的大臣，判处死罪。单于招降的人，赦免他们的罪。”
他举剑作势要击杀张胜，张胜自承有罪请求投降。
卫律对苏武说：“副使有罪，应该连坐到你。”
苏武说：“我本来就没有参与谋划，又不是他的亲属，怎么谈得上连坐？”
卫律又举剑对准苏武，苏武像山岳一般岿然不动。
卫律说：“苏君！我卫律以前背弃汉廷，归顺匈奴，幸运地受到单于的大恩，赐我爵号，让我称王；
拥有奴隶数万、马和其他牲畜满山，如此富贵都是单于赏赐的！
苏君你今日投降，明日也是这样。白白地用身体给草地做肥料，日后又有谁知道你呢！”
苏武听后如泥雕木塑般毫无反应。
卫律说：“你通过我而投降，我与你结为兄弟；今天不听我的安排，以后再想见我，还能得到机会吗？”
苏武痛骂卫律说：“你做人家的臣下，不顾及恩德义理，背叛皇上、抛弃亲人，在异族那里做投降的奴隶，我为什么要见你！
况且单于信任你，让你决定别人的死活，而你却居心不平，不主持公道，反而想要使汉皇帝和匈奴单于二主相斗，旁观两国的灾祸和损失！
南越王杀汉使者，结果南越九郡被平定。
大宛王杀汉使者，自己头颅被悬挂在宫殿的北门。
朝鲜王杀汉使者，随即被讨平。
唯独匈奴尚未受到惩罚。
你明知道我决不会投降，想要使汉和匈奴互相攻打。
匈奴的灾祸，将从(杀死)我苏武开始了！”
卫律知道苏武终究不受胁迫投降，报告了单于。
单于这个人，越是得不到的东西越想得到，于是越发想要苏武投降，就把他囚禁起来，放在大地穴里面，断绝供应，不给他喝的、吃的。
天气寒冷，下着大雪，苏武卧着嚼雪，同毡毛一起吞下充饥，几日不死。
匈奴认为这是神在帮他，就把苏武迁移到北海边没有人的地方，让他放牧公羊，公羊生了小羊才能回来，这分明就是在刁难他呵。
将他的随从官吏常惠等人，分别投放到另外的地方安置。
苏武迁移到北海后，匈奴发给的粮食他拒绝吃，靠掘野鼠、收草实来吃艰苦度日。
拄着汉朝的旄节牧羊，睡觉、起来都拿着，消耗得太快以致系在节上的牦牛尾毛全部脱尽。
就这样苏武一直过了五、六年。
有一天，单于的弟弟於靬王到北海来打猎，遇到了苏武。
苏武擅长结网和纺制系在箭尾的丝绳，还会矫正弓弩，於靬王颇器重他，供给他衣服、食品。
苏武的日子才稍微好过了一些。
三年多过后，於靬王得病，赐给苏武马匹和牲畜、盛酒酪的瓦器、圆顶的毡帐篷。
於靬王死后，他的部下也都相继迁离了北海。
这年冬天异常寒冷，丁令部落盗去了苏武的牛羊，苏武又陷入穷困。
当初，苏武与李陵在大汉朝廷一起做官，彼此打过交道。
苏武出使匈奴的第二年，李陵战败投降了匈奴，当时李陵心存羞愧之心，不敢访求苏武。
时间一久，李陵思汉之心渐渐淡去，于是单于派遣李陵去北海，为苏武安排了酒宴和歌舞。
李陵趁机对苏武说：“单于听说我与你交情一向深厚，所以派我来劝说足下，愿意真诚地对待你。
你终究不能回归汉朝了，白白地在荒无人烟的地方受苦，你对汉朝的信义又怎能有所表现呢？
以前你的大哥苏嘉做奉车都尉，跟随皇上到雍棫阳宫，扶着皇帝的车驾下殿阶，不小心碰到柱子，折断了车辕，被皇上定为大不敬的罪，被逼用剑自杀了，皇上只不过赐钱二百万用以给他下葬。