公元前112年，南越国相吕嘉举兵反汉，武帝遣楼船将军杨仆出击南越，余善上书奏请率兵八千人随杨仆出征，暗地里却与吕嘉勾结。余善率师到揭阳（今广东潮汕地区），便借口风大浪高，驻足不前，暗中派人给吕嘉通风报信。他这套把戏自然瞒不过杨仆。攻破南越国都番禺（今广东广州）后，杨仆上书武帝，请求移师北上，讨伐余善。鉴于南越之战刚刚结束，士卒劳倦，汉武帝没有批准杨仆的请求。而是命杨仆派出一支军队由大司农张成、山州侯刘齿统领，进驻梅岭（今江西、广东两省边境之大庾岭）待命。此时，中大夫朱买臣献策说：“故东越王居保泉山，一人守险，千人不得上。今闻东越王更徙处南行，去泉山五百里，居大泽中，今发兵浮海，直指泉山，陈舟列兵，席卷南行，可破灭也。”武帝便委任朱买臣为会稽太守，“治楼船，备粮食、水战具”，待诏随军出征东越。
公元前111年秋，余善得知杨仆上书请伐东越，汉军已屯驻边境，知道武帝要秋后算账了，遂孤注一掷，先发制人。他一面派兵扼守险要通道；一面主动出击，封部将驺力为“吞汉将军”，率军攻入白沙（今江西南昌东北）、武林（今江西余干北武陵山）、梅岭等地，杀了汉军三名校尉。张成、刘齿等驻屯军不敢出击，反而退避，被武帝以畏敌罪处死。余善闻讯大喜，刻了一枚“武帝”玺，自立为帝。
两“武帝”不共戴天。汉武帝决心消灭“越武帝”，发四路大军，水陆并进，挺进东越。其部署是：以横海将军韩说从句章（今浙江余姚东南）航海南下；以楼船将军杨仆向武林方向进击；以中尉王温舒向梅岭方向进攻；以归汉的二位越侯为戈船、下濑将军，从若邪（今浙江绍兴南）、白沙向南推进，对东越形成三面合击。东越据守武林的徇北将军曾一度打败汉军的几名校尉，杀了汉军长吏。公元前110年冬，楼船将军率军吏辕终古阵斩徇北将军，攻克武林，其余三路汉军也攻入东越境内。东越另一将军多军，于汉军到达时即弃军归降。前往汉地的越衍侯吴阳受命回东越劝谕余善速速缴械投降。余善哪里肯听，遣兵狙击，双方经过数次较量，汉军突破闽越的防线，向冶县挺进，横海将军从海上登陆，一路逼近城下。
越衍侯吴阳遂率其邑中的七百人起义，攻击汉阳（今福建浦城北）的越军，并与建成侯敖、繇王居股谋划说：“余善是罪魁祸首，劫持我们为他防守。现在汉兵已到，兵多而强，我们设计杀余善，各自归顺汉将，或许能侥幸逃脱罪责。”闽越一些臣子为保全身家性命，也都同意了吴阳的谋划，杀死余善，向横海将军韩说投降。至此，东越国亡。
消息传到长安，武帝封赏了归降汉朝的闽越有功人员和汉朝有功者：封繇王居股为东成侯，食封万户；封建成侯敖为开陵侯；封越衍侯吴阳为北石侯；封横海将军韩说为案道侯。
汉武帝以“东越狭多阻，闽越悍，数反复”，“终为后世患”诏令军吏将越人全部迁往江、淮间安置。汉平闽越，有利于中国的统一和民族的融合，但将居民迁走，致使繁荣一时的闽中成了空虚之地，直至25年后，逃遁山林的少数越人出来聚居，才成立治县。
统一南越汉武帝在公元前135年曾出兵帮助南越解闽越之围，又派严助前往南越，晓谕汉武帝嘉美赵胡能谨奉藩臣职责的意思。赵胡得到汉武帝的嘉许，顿首谢恩说：“天子为臣兴兵讨伐闽越，臣虽死无以报德！”
赵胡为了显示对汉武帝的忠心，特地派遣太子赵婴齐随同严助一起去长安作为人质。汉武帝让赵婴齐到朝廷中担当宿卫。
赵婴齐本有妻室儿子，但并未一同带入长安城中，入京侍卫，一住就是十几年，他也忍耐不了寂寞，就娶邯郸樛氏的女儿为妻，生了一个儿子赵兴。
后来赵胡病重，特地派使者到长安城中，请求汉武帝放归赵婴齐。汉武帝准许赵婴齐归省，赵婴齐马上带着樛氏和赵兴踏上归国的路程。
赵婴齐回国后不久，赵胡就一病呜呼了。赵婴齐承继南越王位，上书奏报汉武帝，请求立樛氏为王后，赵兴为太子，汉武帝同意了他的请求。
汉武帝为了控制南越，也依照惯例，时常派使者征赵婴齐入朝述职。赵婴齐害怕去了之后再被羁留，所以不肯应命，只是派遣小儿子赵次公去长安为质子，侍卫皇上。自己每天与樛氏淫乐，荒淫糜烂的生活耗费了他的大部分精力，赵婴齐终因纵欲过度，竟至一病不起，正当中年就死去了。年少的太子赵兴继立为南越王，他奉母亲樛氏为王太后。汉武帝一看有机可乘，决心加强对南越的统治关系。
公元前113年，武帝派大臣安国少季出使南越，劝谕樛太后和赵兴入朝。随行的还有年轻的谏大夫终军，负责宣读诏令；还有一个叫魏臣的勇士，以壮行色。武帝又命卫尉路博德将兵进驻桂阳（今湖南郴州），名义上是迎接樛太后和赵兴，实则给南越以军事威慑。武帝自以为万无一失，终军临行前也夸下海口：“愿受长缨，必羁南越王而致之阙下！”此即“请缨”这一历史典故的由来。
见到南越王赵兴后，凭终军一腔豪情，一张辩口，劝说赵兴内附汉朝，赵兴年纪尚小，心中自然畏服。而樛氏王太后本是中原人，和安国少季是旧时的情人，自从樛太后随赵婴齐去了南越后，天各一方，然旧情不忘。此番相见，二人眉目传情，很快又打得火热，秽闻国中，国人愤恨不已。樛太后担心出事，欲亲附汉朝，以固其位，遂劝赵兴上书，请求像内地诸侯王一样，三年一朝。汉武帝看到南越要求内属，大喜过望，立即恩准。特赐南越丞相吕嘉银印，除丞相、太尉、太傅、内史外，其余官吏皆听南越自置。樛太后和赵兴也欢天喜地，整治行装，准备朝觐汉武帝。
南越相吕嘉从赵佗时起就担任这一职务，已历三王，其宗族当官为长吏者七十余人，他的儿子尽娶南越王女为妻，女儿都嫁给了王子兄弟宗室，南越的大权实际上操纵在他手里。因此，吕嘉在南越地位显要，受越人崇信，比国王还得民心。吕嘉不同意国王和太后的做法，反对内属归汉，他谏阻赵兴不要入朝，赵兴不听。
太后虽饬治行装准备上路，但意中却想先除去权高震主的吕嘉，然后再动身。一番深思熟虑后，她制定了一个行动方案：
樛太后在宫中大摆酒宴，款待安国少季、终军和魏臣等汉使。她又派人召入丞相以下诸官吏，一同到宫中赴宴。吕嘉虽称病在家，但这一次也不得不往。临去赴宴之前，让他弟弟领兵在宫外等候，如有不测，也好有个接应。
酒过三巡，樛太后盯着吕嘉说：“南越内属是件利国利民的事，为什么只有你一个人认为不便，苦苦相拦，你究竟是什么意思？”
吕嘉心中一惊，他料到这是太后借此话激动汉使来为难他。他马上低下头，只顾看着酒杯一声不敢吭。
汉使也知道吕嘉是南越内属的一大障碍，但他们入宫时看到吕嘉的弟弟领兵在宫外巡行，心中虽然恼怒吕嘉，但又不敢下手擒拿他，只好面面相觑、袖手旁观，并没有做出任何反应。
吕嘉见大事不妙，起身便往外闯，他的弟弟率卫队候在宫外，只要出得宫去，便可万事大吉。樛太后怕他溜走，她一把抓起卫士手中的长矛，打算投向吕嘉。南越王赵兴担心会有他变，慌忙起身阻拦太后，吕嘉逃出王宫，就在其弟的甲兵护卫下回了家。
第二天，吕嘉声称有病，不再朝见赵兴。吕嘉开始秘密地联络亲信准备发难。后来，吕嘉转念一想南越王赵兴并无歹意，心中倒也有些不忍。他了解到自己仍然很安全，就放弃了发难的计划，双方僵持了几个月，互相没有采取行动。
消息传到长安，武帝龙颜大怒，斥责安国少季等人不能当机立断，以致错失良机。鉴于樛太后和赵兴心向汉室，唯独吕嘉一人阻挠，觉得不必兴师动众，遂命大臣庄参统兵两千人，去解决吕嘉，助赵兴和樛太后一臂之力。
庄参道：“任务如果是和平的，只要几个人就足够了。任务如果是战争，那么两千人根本无济于事。”
武帝也觉得有理，取消了这一行动。
有个叫韩千秋的人，做过济北（今山东长清西南）国相，勇猛剽悍，他上书武帝说：“小小的南越根本不在臣眼里。里面又有赵兴和太后作为内应，只有吕嘉一个人捣乱，不值得兴师动众，我看只要三百人就够了，圣上放心，臣必斩下吕嘉的首级前来回报。”
汉武帝听了韩千秋的话，心中很满意，觉得这才像个领兵打仗的样子。汉武帝嘉奖韩千秋的勇气，让他和樛太后之弟樛乐一起，率领两千汉兵，前往南越国中。
韩千秋带领着两千人马趾高气扬地开进了南越。吕嘉正在家中称病，闻此消息，心中大惊，急忙召来自己的弟弟计议说：“汉兵远道而来，必是淫后串通汉使，召兵入境来灭我家族。来者不善，难道我兄弟要束手待毙不成？”
吕嘉的弟弟是一个武夫，一听此言，怒不可遏，便劝告吕嘉赶紧动手。吕嘉一看情况紧急，也没时间多考虑后果，便和他弟弟一起领兵冲入王宫。
宫中未曾防备，立即被吕嘉兄弟突入，樛太后和安国少季在内房并坐私谈，被吕嘉兄弟迎头撞上，急切之中无从逃避，吕嘉兄弟持刀迎上。一刀一个，樛太后和安国少季立即身首异处，命丧九泉。
吕嘉兄弟杀了樛太后就再去搜寻赵兴，赵兴无路可逃，也死在吕嘉刀下。吕嘉一不做，二不休，索性领兵攻打汉使居住的馆舍。
汉使们急切中抽刀抵抗，无奈吕嘉兄弟人多势众，汉使们遭到灭顶之灾。可怜终军和魏臣等人均惨死在吕嘉的屠刀之下，为国殉职。
吕嘉又马上号令全国说：“国王年轻，而太后又是中原人，她与汉朝使节通奸淫乱，一心想归附汉室，阿谀谄媚，把先王的国土、宝器献给汉朝皇帝。她只顾眼前的一点小利，不顾及赵氏建国的艰苦。所以我起兵除奸，另立嗣主，以保我们宗祧。”
南越国民吏平素属望吕嘉，在他的蛊惑下，一时群情激奋，纷纷响应。吕嘉就迎立赵婴齐和南越籍妻子所生的长子赵建德继承了南越的王位，自己仍然做了国相。
吕嘉又派人去苍梧（今广西梧州）禀告秦王赵光。苍梧是南越的一个大郡，赵光平素和吕嘉又有很深的交情，当然复书给吕嘉表示赞同。这样，吕嘉一意抗御汉朝，专门等待汉军的到来。他下令边境的卒吏，开道供食，诱令汉军深入。
韩千秋听到吕嘉发动政变，率军急速南进，他一连攻下几个小城。抓到的南越吏卒，也是殷勤接待，愿为向导。韩千秋矜才使气，还以为这些人是被他的军威所震慑，心中愈加得意起来。
韩千秋所部汉军在越卒向导带领下继续南行，一路无阻，谁知行近南越都城番禺，与之相去不过四十里时，忽然南越伏兵突起，从四面杀到，将汉军重重围住。
韩千秋这才惊悟中了埋伏，他手下只有两千人马，前无去路、后无救兵，全部投进了死亡陷阱，眼见得同归于尽，无一人生还。
吕嘉杀尽汉兵，马上把汉使的符节包裹妥当，派人送到汉朝的边塞上，让汉武帝派人来取。还附有一“谢罪”表，但言辞却极为狂傲。
汉武帝拿着汉使的符节和吕嘉的信，怒发冲冠，决定要动用武力与吕嘉决一雌雄。他立即调集了舟师十万，于公元前112年分五路挥师南下，踏平南越。
第一路，以主爵都尉杨仆为楼船将军，出豫章，直扑横浦关（今大庾岭上）；
第二路，以卫尉路博德为伏波将军，出桂阳，沿湟水（今连江）顺流而下；
第三路，以归顺汉朝的越人严为戈船将军，出零陵（郡治泉陵，今湖南零陵），沿漓水（今桂江）顺流而下；
第四路，以另一归顺汉朝的越人甲为下濑将军，出零陵，直趋苍梧；
第五路，以越人驰义侯遗为将，率巴蜀、夜郎兵一同东进，沿牂柯江（今北盘江）顺流而下。
大军相期到番禺会齐。
番禺北有寻狭（今广东清远东）、石门诸险，吕嘉凭借五岭有利地形，拼死抗击。汉军攻关夺隘，逐步推进。双方鏖战一年多。翌年冬，杨仆一路攻占寻狭，直扑番禺西北的石门。一场激战，汉军夺取石门，并缴获了大批粮饷。杨仆乘胜统军推进，吕嘉急派数万大军狙击。这时，路博德一路赶到，与杨仆会师，合兵猛攻，吕嘉军队溃退番禺城中。
南越王赵建德和丞相吕嘉聚兵城内，死守城垣。杨仆和路博德即分兵两处，杨仆在城东南，路博德在城西北，两面一齐攻城。杨仆想夺首功，奋力猛攻，南越相吕嘉督兵死守，坚决抵抗。路博德却从容不迫，只在城的西北角上，虚设旗鼓，遥张声势，同时令手下用箭把书信射入城中，劝令城里人投降。
番禺城在杨仆的猛攻下摇摇欲坠。城中已是垂危，又听说路博德在西北立营将要夹攻，急得南越的守将仓皇失措，往往出城，奔降路博德。路博德好言安抚来降的南越吏卒，各赐印绶，让他们还城召集部下一同来降。
正在此时，杨仆在久攻不下的情况下，焦躁异常，下令手下纵火烧城，一时番禺城东南一带烟焰冲天。番禺城西北的兵民，都已魂飞天外，听回来的人讲投降免死，并有封赏的消息，自然都踊跃出城，争向路博德处投降。
到天亮的时候，番禺城被汉军攻入，全城投降。吕嘉和南越王赵建德见无法支持，趁着夜色昏黑，从城中逃出，乘船逃到海岛上去了。
等到杨仆破城直入，路博德早从西北门进到城里，安坐在南越王府之中了。杨仆花费了许多气力，反给人作嫁裳，心中很不甘心，就想去追捕南越王赵建德和吕嘉，以图建功。
路博德却与杨仆开玩笑说：“将军连日攻城，疲劳不堪，尽可以休息，南越君相不久便可擒到，请君勿忧。”杨仆似信非信。
过了一两日，果然由司马苏弘和越郎都稽分别捉住了赵建德和吕嘉，送到汉军手中。经路博德亲自讯问，将吕嘉验明正身，立即处斩。吕嘉一死，南越各地见风使舵，纷纷归附汉朝。南越从赵佗自立为王，传四代五王，共93年而亡。
路博德即刻飞书报捷，把吕嘉的人头传诣京师。路博德在奏章中极力保举苏弘、都稽和杨仆的功劳。杨仆这才感服路博德善抚降人，以夷制夷，智略高出自己一筹，越发自愧弗如。
戈船和下濑两将军以及驰义侯所发的夜郎国军队还在半路上的时候，南越已经被平定，他们奉诏罢兵而还。
南越战争打得热火朝天的时候，汉武帝开始了他的东巡。他行至左邑桐乡的时候，正值南越捷报到来。汉武帝心中大感宽慰，马上下令改桐乡为闻喜县。汉武帝继续他的行程，到了汲县新中乡，又有使者来报说吕嘉也被捕获伏诛。汉武帝觉得心中解恨，就在新中乡添置了一个获嘉县。
南越灭亡后，其地又归入中国版图。武帝下令废除南越国，分置南海（郡治番禺）、苍梧（郡治广信）、郁林（郡治布山，今广西桂平西）、合浦（郡治合浦，今广西合浦西北）、珠崖（郡治都，今海南琼山东南）、儋耳（郡治儋耳，今海南儋州市西北）、交趾（郡治赢啮，今越南河内西北）、九真（郡治胥浦，今越南清化西北）、日南（郡治西卷，今越南广治西北）九郡。从此，广东、广西两地，一直没有脱离中国版图。