在对匈奴采取守势六七十年后，汉朝终于积累了足够的财富和强大的军力，加上雄才大略、好大喜功的汉武帝长期在位，强弱的天平开始向汉朝倾斜了。汉武帝即位之初，仍明确和亲约束，厚待匈奴，开通边市，送给匈奴大量财物。而当时匈奴从单于以下也都与汉亲善，边境民众来往于长城内外。
汉元光二年，汉武帝听从主战大臣王恢的建议，派雁门马邑豪民聂翁壹诈与匈奴交往，让他以出卖马邑城为诱饵吸引单于派兵前来。单于遂以十万骑入武州塞，而汉朝廷在马邑附近埋伏了三十多万军队，以御史大夫韩安国为护军将军，督四将军准备将匈奴军队一网打尽。
单于入塞距马邑还有一百多里时，抓住了汉军雁门尉史，尉史把汉军埋伏的情况告诉了单于。单于大惊，随即带兵撤走，汉军因此一无所获。汉将王恢的部队从代郡出发攻匈奴辎重，听说单于撤兵后王恢因畏惧匈奴兵多而不敢出击。汉武帝认为王恢主战却临阵退缩，要严惩他，王恢闻讯自杀。从此以后，匈奴断绝和亲，进攻汉塞次数不可胜数，但双方的边市并没有完全关闭。
马邑之围五年后的秋天，汉大举进攻匈奴。将军卫青出上谷，杀俘胡人七百；公孙贺出云中，无所得；公孙敖出代郡，为胡人所败，折损至七千余人；李广出雁门，为胡人所败，李广被擒，后乘隙逃回。汉囚公孙敖、李广，二人赎罪为民。冬天，匈奴屡犯边境，渔阳郡损失尤重，汉派将军韩安国驻渔阳以备胡人。第二年秋天，匈奴两万骑兵再次进犯，杀汉辽西太守，劫掠二千余人。匈奴又败渔阳太守军千余人，围汉将军韩安国，韩安国部下千余骑兵损失殆尽，恰好燕国援兵赶到，匈奴军队才撤走。匈奴又进犯雁门，杀掠千余人。
元朔二年，汉军大举进攻匈奴。卫青出云中以西至陇西，击楼烦、白羊王于河套以南，斩俘数千人，获牛羊百余万。汉尽取河套以南，筑朔方城，复秦时蒙恬所筑之塞，因河为固。第二年冬天，匈奴军臣单于去世，其弟左谷蠡王伊稚斜自立为单于，军臣单于的太子于单与之争斗，败走后投降汉朝，汉封于单为涉安侯，但数月后即死。
伊稚斜单于即位当年的夏天，匈奴数万骑兵进犯边塞，杀代郡太守恭友，秋天又进犯雁门。第二年，匈奴再次进犯代郡、定襄、上郡，每次都杀死劫掠上千人。转年春天，汉以卫青为大将军，率六将军十余万众，出塞六七百里，俘获匈奴右贤王部众男女一万五千人，裨小王十余人。当年秋天，匈奴骑兵万余犯代郡，杀都尉朱英，劫掠千余人。
第二年春天，汉朝再派大将军卫青率六将军和十多万骑兵，出定襄攻打匈奴，俘斩一万九千余。而汉朝亡两将军、骑兵三千余。右将军苏建仅以身免，前将军翕侯赵信作战不利，投降了匈奴。匈奴单于重用赵信，赵信献策让单于北迁，引诱汉军远来交战，伺其疲困而后邀击，尽量避免接近汉朝边塞。第二年，匈奴骑兵万余进犯上谷，杀数百人。
元狩二年春，汉骠骑将军霍去病率骑兵万余出陇西，越焉支山千余里，斩俘一万八千余，缴获匈奴休屠王祭天金人。当年夏天，霍去病又与合骑侯公孙敖率数万骑兵出陇西、北地二千里攻匈奴。过居延海，攻祁连山，斩俘三万多人，裨小王以下七十多人。而李广、张骞等在代郡、雁门郡与匈奴作战不利，损兵折将，合骑侯公孙敖未按约定日期行军，三人罪当论死，皆出钱赎为民。
当年秋天，匈奴内乱。单于对浑邪王、休屠王屡次战败非常生气，想要把他们都杀掉。浑邪王和休屠王非常害怕，于是谋划一起降汉，汉朝派骠骑将军霍去病前去接应他们。浑邪王杀休屠王，并其众降汉，凡四万余人，号称十万。汉朝得浑邪王后，陇西、北地、河西所受匈奴侵扰更少了，汉朝廷又把关东贫民迁徙到夺回的河套以南、新秦中等地，并将北地以西的戍卒减半。第二年，匈奴复出骑兵数万犯右北平、定襄，杀掠千余人。
元狩四年春，汉商讨对匈奴作战计划。认为单于用赵信之计，居大漠之北，以为汉军不能至，应该利用匈奴无备远征之。于是尽遣骑兵十四万人，运输粮草辎重的车马还不计算在内。汉武帝命大将军卫青、骠骑将军霍去病各率一半人马，卫青从定襄出发，霍去病从代郡出发，越沙漠攻匈奴。单于闻讯后派精锐在沙漠以北待汉军决战，匈奴与卫青军接战一日。至傍晚时，大风骤起，汉军从左右两翼包抄过去，单于与精骑数百溃围而走，汉军连夜追击而不得。卫青军斩俘一万九千余，至赵信城（赵信降匈奴，匈奴筑城居之）而还。
单于败逃时，匈奴军与汉军混战，单于很久没有与匈奴大部队会合，右谷蠡王以为单于战死，就自立为单于。等单于找到大部队，右谷蠡王就放弃尊号，复为右谷蠡王。霍去病军出代郡二千余里，与匈奴左贤王接战，凡斩俘七万余人，封狼居胥山，禅姑衍山，临翰海而还（具见后文“卫将军骠骑列传”）。