，大地也不会只承载一处，我和单于都要抛弃从前的小误会，都遵循正大的道理行事，消除从前的不快，考虑两国的长远利益，使两国人民如同一家的儿女。善良的千千万万的百姓，以及水中的鱼鳖，天上的飞鸟，地上爬行、喘息、蠕动的各种兽类和虫类，没有不追寻安全有利的生活环境而躲避危险的。所以前来归顺的都不阻止，这是天经地义的道理。往事一概不究，我解除逃往匈奴的汉人的罪责，单于也不要再提起逃往汉朝的章尼等人的事情。我听说古代帝王们订立条约，条款分明，从不背弃。希望单于留心盟约，天下定会特别安宁。和亲以后，汉朝不会首先负约。请单于明察此事。”
单于已经签署和亲盟约，于是汉文帝就下令御史说：“匈奴大单于送给我的信中说，和亲已确定，逃亡的人不足以增加民众和扩大土地，今后匈奴人不再闯入边塞，汉朝人也不要走出边塞，违犯现今条约的就处死，这就可以长久保持亲近友好关系，今后不再产生祸患，对双方都有利，我已答应了他的要求。希望向全国发布告示，让百姓都知道此事。”
汉文帝后元四年（前160），老上稽粥单于死去，他的儿子军臣继位当了单于。军臣单于继位后，孝文帝再次与匈奴和亲。而中行说仍然侍奉军臣单于。
军臣单于继位四年时，匈奴又断绝了和亲关系，大举进攻上郡、云中郡，派出三万骑兵，杀死许多汉人，抢掠大量财物而离去。于是汉朝派出张武等三位将军，驻军北地、代国驻句注，赵国驻飞口，沿着边塞之地，也各派兵坚守，防备匈奴入侵。又安置周亚夫等三位将军率兵驻守长安西边的细柳，渭河北岸的棘门和霸上，以防御匈奴。匈奴骑兵侵入代地句注边界，报警的烽火便通向甘泉和长安。几个月后，汉朝兵马来到边境，匈奴远远地离开边塞，汉朝的军队也就作罢。此后一年多，孝文帝去世，孝景帝继位，赵王刘遂就暗中派人与匈奴联络。吴、楚等七国叛乱时，匈奴想同赵国联合，入侵边塞。后来，汉王朝围困并攻破赵国，匈奴也停止了入侵的举动。从此以后，孝景帝又和匈奴和亲，互通关市，送给匈奴礼物，派遣公主嫁给单于，按以前的盟约行事。直到孝景帝去世，匈奴虽然时有小的骚扰边境的活动，却没有大的侵掠行动。
当今皇帝汉武帝继位，申明和亲的规定，宽厚地对待匈权，互通关市，赠送大量财物。匈奴从单于到平民都亲近汉朝，往来于长城之下。
汉朝派马邑城的聂翁壹故意违犯禁令，运出货物同匈奴交易，佯称出卖马邑城以引诱单于。单于相信此事，又贪恋马邑城的财物，就用十万骑兵侵入武州边塞。这时，汉朝在马邑城附近埋伏下三十余万大军，御史大夫韩安国担任护军将军，护卫着四位将军准备伏击单于。单于已经进入汉朝边塞，离马邑城尚有一百余里，看到牲畜遍野却无放牧之人，感到奇怪，就去攻打汉朝的侦察哨所。这时，雁门郡的尉史正在巡察，看到敌军，就保护侦察哨所，他知道汉朝的打算。单于捉到了尉史，想杀死他，尉史便向单于报告了汉朝军队埋伏的地点。单于大惊说：“我本来就对此事有疑心。”于是单于就率兵而回。走出边境时说道：“我得到尉史，是天意，天让你向我报告。”就封尉史做“天王”汉朝军队曾约定，单于进入马邑城后，再放纵兵士攻杀。如今单于未到马邑，所以汉朝军队一无所获。汉朝将军王恢的军队走出代郡攻击匈奴的辎重，听说单于大军已回，兵卒多，因而不敢出击。汉朝认为王恢本是这次伏击战的出谋画策的人，却不敢进攻，因而杀了王恢。从此以后，匈奴断绝和亲关系，攻击直通要道的边塞，常常侵入汉朝边境抢掠，次数多得无法计算。但匈奴贪婪，还是喜欢与汉朝互通关市，非常喜欢汉朝的财物，汉朝也仍然与匈奴保持着关市贸易关系，投合他们的心意。
马邑军事行动之后的第五年秋天，汉朝派卫青等四位将军各率一万骑兵，在关市附近攻打匈奴。将军卫青率兵走出上谷郡，到达茏城，杀死和俘获匈奴七百余人。公孙贺率兵走出云中郡，没有收获。公孙敖率兵走出代郡，被匈奴打败，损失七千余人。李广率兵走出雁门郡，被匈奴打败，匈奴人活捉了李广，后来李广得以逃归汉朝。汉朝囚禁公孙敖和李广，公孙敖和李广交了赎金，成为平民百姓。这年冬天，匈奴屡次闯进边境抢掠，渔阳受害尤其严重。汉朝派将军韩安国驻军渔阳防御匈奴。第二年秋天，匈奴两万骑兵侵入汉朝，杀死了辽西太守，掠走两千余人。匈奴又侵入渔阳，打败渔阳太守的一千多军队，把汉朝将军韩安国围困起来。这时韩安国的一千多骑兵也将要全部被歼，恰巧燕王的救兵赶到，匈奴才离去。匈奴又侵入雁门郡，杀死和抢走千余人。于是汉朝派将军卫青率三万骑兵走出雁门，李息率兵逼出代郡，攻打匈奴，杀死和俘虏匈奴数千人。第二年，卫青又走出云中郡西边及西部的陇西一带，在黄河河套南岸地带攻打匈奴属下的楼烦和白羊王，杀死和俘虏数千人，得到牛羊百余万头。于是汉朝就夺取了黄河河套南岸地区，修筑朔方城，又修缮从前秦朝蒙恬所修建的关塞，凭借黄河做为坚固的防线。汉朝也放弃了上谷郡的曲折僻远的县如造阳一带给匈奴。这年是汉武帝元朔二年。
后一年的冬天，匈奴军臣单于死去。军臣单于的弟弟左谷蠡王伊稚斜自立为单于，打败了军臣单于的太子于单。于单逃走，投降汉朝，汉朝封于单为涉安侯，几个月后，他就死了。
伊稚斜单于继位后的夏天，匈奴数万骑兵攻入代郡，杀死太守恭友，抢掠一千余人。当年秋天，匈奴又攻入雁门，杀死和抢走一千余人。第二年，匈奴又分别派遣三万骑兵攻入代郡、定襄、上郡，杀死和抢走数千人。匈奴右贤王怨恨汉朝夺走黄河河套南岸的土地，并修筑朔方城，因而屡次侵扰，到边境抢掠，以及攻入河套南岸，侵扰朔方城，杀死和抢劫很多官吏和平民。