然而此时，历史却和汉武帝以及三十万汉军开了一个大玩笑：汉军兴师动众，劳民伤财，却无功而返，功亏一篑。汉武帝本意是要初战必胜，既可大伤匈奴元气，安定边塞，又可大长汉朝威风，堵塞主和派的饶舌之口。更重要的是，可以体现自己决策的无比正确性，为天下士庶树立一个冠绝百代的圣明天子的形象。可是，这样一场周密的策划却因为一个贪生怕死的亭尉而前功尽弃。
事情的经过是这样的：军臣单于马不停蹄地赶路，不知不觉进入汉朝边界、到了武州（今山西左云县南）地区，这里距离马邑城不到百余里，军臣单于见前面就是山岭地区，不由得放慢了脚步。他向四周看了看，在草地上有许多马匹在安闲地吃草，但奇怪的是竟没有一个人影。原来聂壹为了让单于上当，除在马邑城高挂几颗头颅外，还在城外百余里的地方散放畜群，以制造太平假象。不想聂壹弄巧成拙，却忘了派人看管这些牛马，这反而让军臣单于生了疑心，他喝令自己的十万骑兵全部都停下来。
为了探听情报，军臣单于猛然带兵扑向不远处的一个亭堡。亭堡是了望敌情、联络消息用的。每一百里有一个亭堡，由亭尉和一些士兵把守。那亭尉已经接到军令，要引诱匈奴进入马邑的伏击圈。
军臣单于没费力气就攻下了亭堡，抓住亭尉，他拿出刀架在亭尉的脖子上，吓唬他说：“你把实际情况老老实实地告诉我，我会重重赏你；要是你敢撒半句谎，我便砍掉你的脑袋。”
那个亭尉贪生怕死，还以为军臣单于已经知道了伏击计划，马上就把汉朝军队的计划和布置全盘供了出来。军臣单于一听，吓出一身冷汗，慌忙蹦了起来，他嚎叫说：“我也觉得有些不对劲，但没想到这里竟有这么大个阴谋。”他立刻下令全军火速撤退。匈奴的十万大军狂奔到自己的边界上，军臣单于这才缓了口气，他心中暗自庆幸，对臣下说道：“我得到亭尉，真是天意。上天叫亭尉说了实话，我不能不赏他。”军臣单于马上封那个亭尉为“天王”。
这时，王恢已经带两三万人抄出代郡，从北边迂回想去截断匈奴的退路。忽然听到匈奴进到武州就退回去了，王恢气得半死。他领了两三万人马怎敢和军臣单于十万骑兵对抗呢？为了保全自己的性命，他不敢追击匈奴，没有看见匈奴就退回来了。
韩安国带领着三十万人马在马邑周围埋伏死等，到了几天也没见一个匈奴兵的影子，韩安国就派士兵前去打探，这才知道匈奴已经逃回去了。韩安国只好临时改变计划，率领大军追了上去。他们追到边界上，也没见到匈奴兵的影子。韩安国也怕这样回去不好交差，就派使者去约军臣单于在马邑城较量一下，军臣单于说死也不上当，他一口回绝了韩安国的要求。韩安国无可奈何，只好垂头丧气地带领大军空手而还。
汉武帝为此龙颜大怒，首先责问王恢：“你为什么违反军令，不仅不狙击敌人，而且也没有袭击匈奴的辎重？”
王恢有苦难言，他解释说：“臣不敢有违军令。但只有等单于的大军进入马邑与汉军交战了，我用两三万人马才可以攻击他的运输部队。现在单于识破了我们的计划，十万人马一起回兵，前队变后队，后队变前队。他们的运输部队在前面，后面跟着攻击性强的士兵，我这两三万人怎么能敌得过他的十万精兵呢？如果要打，准保全军覆没。我知道我回来是要被斩首的，但我完整地向陛下交还了这两三万士兵。”
汉武帝并没有被王恢一席话的感动，他现在最想做的事，就是杀了王恢给自己挽回一点面子。于是，刘彻下令把王恢押入大牢，等待时机把他处决。
韩安国和其他将领虽劳而无功，但也没有什么过错，况且韩安国曾反对过这次用兵，所以，汉武帝也就没有追究他们的责任。
经廷尉的审理，王恢观望曲行避敌，当斩。王恢托家人以千金贿赂丞相田蚡，让他帮忙说情。田蚡也不敢直接劝说武帝，就跟皇太后说：“马邑伏击战虽然没打成，但如果杀掉王恢，就等于为匈奴报仇。”皇太后又把田蚡的话告诉给武帝，武帝说：“马邑伏击战是王恢首先提出来的，兴师动众落了一场空，虽然单于逃脱了，但王恢若能及时出击，截其辎重，还能有所收获，以告慰天下。今天如果不杀王恢，怎么向天下人交代呢？”王恢得知武帝的话后，自知性命难保，便在狱中自杀了。
马邑之谋虽然失败了，但武帝全面反击匈奴的决心已经不可动摇。汉武帝全面改革了军事体制，设大将军加“侍中”的统兵制度取代太尉；改革兵役制度，调整军队各兵种的构成及训练方式；并果断地启用了一批骁勇善战的年轻将领。经过一番改革，汉军的素质和战斗力有了明显的提高，大规模反击匈奴的准备完成了。
龙城之战，名将卫青脱颖而出军臣单于从马邑脱身后，便开始重整旗鼓，挥师南下，于公元前129年发动了一次大规模的入侵中原战争。匈奴兵一路烧杀抢掠，长驱直入，先头部队一直攻到了上谷地区。
边关报急的警报雪片般地向长安城中飞来。中原北部烽火连天，狼烟四起。汉武帝经过了几年的磨砺，考虑事情也逐渐成熟了。他一直为没有机会北伐而懊丧，这次接到边关的警报，马上做出了强硬的反应。刘彻召集高级将领开会，下令立即予以反击。如果说马邑之围是汉武帝第一次对匈奴用兵，那么这次反击则是五年之后汉武帝发起的第二次对匈奴军队的用兵。这一次，刘彻果断启用了皇后卫子夫之弟、奴隶出身的卫青任大将军。
汉武帝派出四万精锐骑兵分四路北上：任命卫青为车骑将军率军从上谷出击；公孙敖为骠骑将军率军从代郡出击；老将李广为骁骑将军率军从雁门出击；公孙贺为轻车将军从云中（今内蒙古托克托东北）出击。四路大军在东西千余里的战线上，同时发起攻击。
这四位将军中，除了年轻的车骑将军卫青以外，全都是战功赫赫、久经沙场的老将，而这次军事行动是卫青初次率兵与匈奴作战。但就在这次初试锋芒中，卫青首战告捷，从此脱颖而出。
公孙敖领一万人马出了代郡，与匈奴的一支主力骑兵遭遇。公孙敖率众兵将与匈奴兵大战一场，死伤七千多人，公孙敖侥幸突围，领着残兵败逃了回来。
雁门的老将李广更惨，不仅全军覆没，自己也因重伤被匈奴活捉，在被押送去见军臣单于的路上，凭借机智勇敢夺得一匹快马才只身逃回。
从云中出发的公孙贺，一路上连个匈奴兵的影子也未见到，他还想在附近找到匈奴兵决战。后来得到消息说雁门和代郡的两路兵马吃了败仗，公孙贺心中发慌，害怕匈奴兵再回兵来围攻自己，所以不敢总在原处等候，只好下令班师回朝。
只有上谷的那一路卫青的军队，在卫青的指挥下，英勇善战，一路挥师北上，深入匈奴腹地，直捣龙城。龙城是匈奴的“圣地”，每年五月，匈奴人大会于此，祭祀天地、祖先与鬼神。此时，匈奴兵大部分调往雁门攻击李广去了，所以后防空虚，在龙城守卫的仅有几千人。卫青领一万人马，以多攻少，轻松取胜。所杀和俘获七百多人，凯旋而归。这次战役是卫青与匈奴战斗一生中的第一次胜利，也是汉武帝决定反击匈奴侵掠的第一次告捷，卫青被汉武帝加封关内侯。从此，卫青开始在北伐匈奴的大业中崭露头角。
元朔反击战，试探练兵元朔元年，匈奴铁骑再次南下，攻入辽西郡（今辽宁义县西），杀戮两千余人，辽西太守阵亡。渔阳、雁门两郡告急！匈奴人击败渔阳太守守军千余人，又将在渔阳守备的材官将军韩安国的大营团团围困，韩安国所领千余骑几乎全军覆没。继而，匈奴人又杀入雁门郡，千余人被杀戮。在此情况下，武帝派卫青率领三万骑出雁门，另一将军李息出击代郡。自上次龙城之战开始，汉军就采用如此的策略，每次出击匈奴都是分路进剿，互相配合，吸引分散敌人的兵力，以避免孤军深入的危险。此次进军颇为顺利，汉军一路兵锋甚劲，斩获数千首级。完成了歼敌有生力量的目标，这无疑对汉军是个很大的鼓舞。
这一次反击战，仍然具有试探练兵的性质，所以有所斩获就得胜回师，没有采取更进一步的行动。但是，此举却丰富了作战经验，且取得了优势性的胜利，战果远强于龙城之战。雄才大略的武帝和用兵有功的卫青很快就酝酿出下一步的作战部署。
从龙城之战到元朔元年的这一次反击战，都是属于出塞主动击敌，是对匈奴侵略的回应反击，而下一步战争是要解除匈奴对汉帝国首都长安的直接威胁，具有极为重要的战略意义。
从奴隶到将军，再到侯爵，卫青命运的改变与他的姐姐被汉武帝封为皇后有一定的关系，但汉武帝也可谓慧眼识英雄，在使用人才方面不拘一格。而在龙城之战后的历次对匈奴的战争中，卫青也确实充分展现出了他骁勇善战的将帅之姿和出色的军事指挥才能，赢得了数次大捷，立下了赫赫战功，终成一代名将，得以青史留名。
收复“河南地”之战，修建后方根据地秦汉时期的河南地，即今鄂尔多斯高原中的河套平原，位于今内蒙古伊克昭盟一带，是夹在贺兰山、阴山和鄂尔多斯高原之间的一块平原。黄河贯穿整个平原，不仅有利于航运，而且还带来了丰富的水利资源。加之这里地势开阔平坦，土壤肥沃，水草丰盛，很早就得到开发利用，因而成为中原农业民族和北方游牧民族共同向往的沃土。作为蒙古高原与陕甘黄土高原的分界区域，河南地不仅在经济上具有巨大的优势，而且在军事上更具有重大的战略意义。从战国末年至西汉初年，中原王朝的汉族统治者和北方的匈奴统治者，在这里曾经展开反复争夺，最终是匈奴人取得胜利，占据了河南地。这里距离西汉的国都长安不足千里，匈奴骑兵南下不过二三日路程，屏蔽长安的北地（今甘肃庆阳西北）、上郡等地不时成为汉匈交战的前线，长安也就一直处在匈奴铁骑的威胁之下。对于西汉王朝来说，匈奴占据河南地，就如一把锋利的尖刀插在背后，它所构成的威胁，远比匈奴对西汉边境接连不断的袭扰来得严重。因此，汉武帝在反击匈奴之始，首先便想把匈奴势力逐出河南地，以解除心腹之患。
公元前127年春，匈奴左贤王部又大举进犯上谷、渔阳。韩安国率部队出战，负伤败阵，退守壁垒不出，匈奴骑兵掳掠千余人及牲畜而去。“是时虏言当入东方”，汉武帝命韩安国向东移驻右北平（今辽宁凌源西南），以阻挡匈奴向东方深入。同时，决定采取胡骑东进、汉骑西击的作战方针，令车骑将军卫青、将军李息急速出兵云中，突袭匈奴防守薄弱的河南地。
卫青、李息率部出塞后，从云中向西大迂回。他们先沿黄河北岸（左岸）西进，在秦长城的掩蔽之下迅速推进到今内蒙古杭锦后旗黄河西北，切断驻守河南地的匈奴白羊、楼烦二王与匈奴腹地的联系。然后南下，完成对河套及其以南地区的迂回包抄，突然掩袭白羊王和楼烦王。白羊、楼烦二王没有料到汉军会突然出现，仓促交战，被一举击溃，即率少数亲兵逃遁。汉军歼敌数千人，俘获“伏听者”三千余人及牛羊百余万头，收复了秦末以来长久沦陷于匈奴的河套地区，穿行千余里到达陇西，“全甲兵而还”。取得了汉匈开战以来的最大胜利。卫青因功封长平侯，食邑3800户，随卫青征战的校尉苏建被封为平陵侯，张次公被封为岸头侯。
汉匈河南地之战，双方投入的兵力不多，规模亦不为大，但它在汉匈战争史上却是一个重要的转折点。西汉王朝收复河南地，使得汉朝的北部边防线往北推移至黄河沿岸，为长安增添一道有利的天然屏障，从而在很大程度上解除了匈奴对关中地区的直接威胁，这不仅大大有利于京都地区的繁荣与发展，而且也有利于西汉王朝在全国统治的加强。
战后，汉武帝下令在河南地设置五原郡（今内蒙古包头西）与朔方郡（今内蒙古杭锦旗北）。中大夫主父偃上书，“盛言朔方地肥饶，外阻河，蒙恬筑城以逐匈奴，内省转输戍漕，广中国，灭胡之本也。”汉武帝便停止正在进行的通西南的筑路工程，“兴十余万人筑卫朔方（城）”，又招募内地居民十万至朔方实边，并修缮秦代的旧长城及沿河要塞，把河南地建成一个可以向东、西、北三面出击匈奴的军事基地。昔日匈奴刺向汉朝后背的利刃，于是迅速转变为汉军指向匈奴前胸的长戟，为汉朝最后击败匈奴创造了有利条件。
漠南之战，张骞归汉匈奴贵族不甘心失去河南地这一战略要地，数次出兵袭扰朔方，企图夺回河南地。汉武帝于是决定反击，发起了漠南之战。公元前124年的春天，汉军将士踏上刚刚吐绿的草地，再次开始了新的征程。这次用兵规模很大，并且开始由国内的防御转变为在匈奴境内追击匈奴。
就在这一年，出使西域，被困匈奴13年的张骞历尽九死一生返回长安，他虽然没有完成联络使命，但却获得大量有关西域的资料，向汉武帝描述了汉朝人从未见过的外面的世界。汉武帝大为感叹，当下拜张骞为太中大夫，作为自己处理西域与匈奴事务的战略顾问。
这一年，汉武帝命张骞随车骑将军卫青伐匈奴，卫青所率三万骑自朔方、高阙出兵，卫尉苏建为游击将军、左内史李沮为强弩将军、太仆公孙贺为骑将军、代相李蔡为轻车将军，悉归卫青统率，此为主攻方向。大行李息、岸头侯张次公等人出兵右北平，牵制单于、左贤王，策应卫青主力军的行动。由于张骞在匈奴生活了十多年，所以熟悉匈奴虚实、山川地形，知道哪里能有水，哪里有草。这次出兵之所以能顺利完成，全靠他起了一个好的向导作用。由于张骞的指点，汉军人马才免于受渴挨饿。卫青出塞两三百公里，长途奔袭，突袭匈奴右贤王的王廷。睡梦中的右贤王被打得措手不及，仅带数百人北逃。此战，汉军俘敌一万多人，凯旋归师。这一仗的胜利，进一步巩固了朔方要地，彻底消除了匈奴对京师长安的直接威胁，并将匈奴左右两部切断，以便分而制之。于是，汉武帝拜卫青为大将军，加封食邑8700户，统领所有将领；张骞也功不可没，加封博望侯；卫青的三个儿子，最小的尚在襁褓中，也都被汉武帝封为列侯。
定襄之战，成就少年将领公元前123年的2月和4月，新任大将军卫青两度率骑兵出定襄（今内蒙古和林格尔西北），前后歼灭匈奴军队一万多人，扩大了对匈奴作战的战果，迫使匈奴主力退却漠北一带，远离汉境。这就为汉武帝下一步实施河西之役并取胜提供了必要条件。