从先秦到汉初，中国东南沿海生活的主要是少数民族越人，《汉书》所谓“自交趾至会稽，七八千里，百越杂处。”越人又有瓯越、闽越、南越等众多分支，统称百越，又称百粤。秦汉嬗代之际，南越、东越等地事实上仍处于割据状态。楚汉战争期间，南海郡尉赵佗乘秦亡之机，封关绝道，兼并桂林、象郡，定都番禺（pānyú），竟传国五世，享国近百年。
赵佗是真定（今河北正定）人，秦并六国，又略定杨州之南越，设桂林、南海、象郡，迁徙犯罪的百姓充实这些地方，同越人杂居。赵佗在秦时被任命为南海郡龙川令，至秦二世时，南海尉（大郡称守，小郡称尉；大县称令，小县称长）任嚣病重将死，乃召赵佗，对他说，听说中原扰攘，陈胜等发动叛乱，秦暴虐无道，百姓恨之已久，项羽、刘邦，陈胜、吴广等聚众兴师，天下恐将大乱。
南海郡虽位置僻远，但我担心中原的乱兵会打到这里，所以想发兵截断秦修筑的南越通往中原的大道，以作防备，并待诸侯之变。不幸现在我身患重病，番禺这个地方，背山负海，东西数千里，并有中原人可作依靠，因此这一州之地足可立国。南海郡的官员都不足与言，所以特地召你来告诉你这些事。
任嚣随即发布文书，任命赵佗代行南海郡尉之职。任嚣死后，赵佗就移檄治下说，中原乱兵即将进攻南越，各地应马上阻断道路，聚兵自守。随后赵佗又找各种借口，剪除了秦朝设置的官吏，而将自己的亲信安插到各处。秦亡后，赵佗陆续兼并了桂林、象郡，自立为南越武王。刘邦平定天下时，因为百姓劳苦，所以没有发兵攻打南越。汉高帝十一年，朝廷派陆贾出使，立赵佗为南越王，剖符通使，让他和集百越，不要危害汉朝南方边境。
南越与长沙王吴芮的领地相接。刘邦死后吕后掌权，有司请禁南越在边境互市时购买铁器。赵佗说，汉高帝立我为南越王，南越与汉互通使者和物产，如今高后听信谗言，视我为蛮夷异物，断绝南越需要的物资供应，这必定是长沙王的建议，他想依靠汉朝的势力消灭南越，以此作为自己的功劳。
于是赵佗自加尊号，称南越武帝，发兵攻打长沙国的边邑，败数县而去。吕后遂派将军隆虑侯周灶攻打南越。正值南方酷暑潮湿，汉军士卒大疫，无法越过阳山岭。一年多后，吕后病死，汉军就此停止进攻。赵佗因此扬威于边境，他又用财物贿赂闽越、西瓯和骆越，使他们归属于自己。南越东西万余里，赵佗乃乘黄屋左纛之车，称制，与汉朝并立。
汉文帝初御天下，派使者告知诸侯和四方蛮夷君长自己从代国到长安即位的情况，以喻天子圣德。文帝为赵佗在故乡真定的父母坟墓设置守冢之邑，岁时祭祀，又召赵佗昆弟，用尊贵的官爵和丰厚的赏赐表示宠幸。然后让丞相陈平等举荐可以出使南越的人，于是陈平举荐好畴人陆贾，说陆贾在先帝时曾多次出使南越。汉文帝就任命陆贾为太中大夫出使南越，同时责备赵佗自立为帝，而不派使者告知朝廷。
陆贾到了南越，南越王赵佗乃向汉文帝上书致歉。信中说，蛮夷老夫臣佗，自前日高后阻断歧视南越，我疑心是长沙王进谗，又在南越僻远之地听说高后尽杀臣之宗族，挖掘焚烧先人坟墓，因此自暴自弃，侵犯长沙国边境。至于南方卑湿之地的蛮夷之中，只有数千民众的闽越也自称为王，西瓯和骆越也是如此。所以我妄窃帝号，聊以自娱，哪敢将此事上奏。如今臣赵佗顿首谢罪，愿长作汉朝藩臣，尽纳贡之职。
于是赵佗向南越全境发布命令说，两雄不并立，两贤不并世，汉天子贤明，从今以后我去帝制黄屋左纛。陆贾回报，文帝大悦。汉景帝时，赵佗继续向汉称臣，派使者到长安朝见天子。但在南越境内，赵佗一直窃用皇帝名号，只在派遣使者朝拜时才称王，在接受天子诏书时也同诸侯一样。汉武帝建元四年，赵佗去世，享年已百余岁，前后统治南越八十余年。
赵佗死后，其孙赵胡继为南越王。当时闽越王郢发兵攻打南越边境，赵胡派使者向汉天子请求援助。信中说，南越和闽越都为汉藩臣，不得擅自发兵相攻击。如今闽越兴兵侵犯，臣不敢发兵抵御，请天子降诏处分。于是天子称赞南越行为忠义，遵守职约，乃派遣两位将军率兵讨伐闽越。汉军还未越过阳山岭，闽越王郢已被弟弟余善所杀，闽越再次降附朝廷，于是汉廷遂罢兵。