毛南族有潭、覃、盧、蒙、韋、袁等姓氏，其中以潭姓的人數(shù)量較多，約占毛南族的70%以上，分布的地區(qū)廣，其次是覃、盧、蒙姓。歷史上，他們是同姓聚族而居，在一個(gè)村寨之中異姓雜居的現(xiàn)象很少，解放后異姓雜居以至同壯族人民雜居的才逐漸增多。

據(jù)許多史籍記載，毛南族及壯，侗、仫佬、水等壯侗語族諸民族的地區(qū)，在漢代以前是“百越”民族中的“駱越人”居住的地方。南北朝以后，又有“僚人”有這一帶居住，稱為“蠻僚”，唐代以前，這一帶的少數(shù)民族由于沒有上封建王朝的“戶籍”，被統(tǒng)稱為“生蠻”。

唐代以后，封建王朝詔用這里的部落酋長，設(shè)置了羈縻州縣，進(jìn)行羈縻統(tǒng)治，把這里的少數(shù)民族以地名而命名為“撫水蠻”、“安化蠻”、“茅灘蠻”、“南丹蠻”“等，泛稱“峒蠻”。明、清之際，這一帶少數(shù)民族有壯、瑤、苗、水、俍、伶、僚等很多名稱，有思恩縣12其相鄰的天河建縣境內(nèi)，就有伶、僚、仫佬、水、佯、俍、侗等。

而外來的漢人還極少，說明了這些少數(shù)民族應(yīng)是當(dāng)?shù)氐耐林用?，是“駱越人”，及其后來的“撫水蠻“，“安化蠻”“茅灘蠻”，“南丹蠻”等“蠻僚”的后裔。今毛南族和壯、侗、仫佬、水等族可屬壯侗語族，有語言和生活習(xí)俗上也有許多共同的特點(diǎn)，證明他們有同源的關(guān)系。如毛南族居住的“干攔”與古代“蠻僚”樓居的形成相同。

在清代《慶運(yùn)府志》中列舉的僚語的12個(gè)詞匯中，竟有6個(gè)詞匯與毛南族的音、義完全相同。這不是一種偶然的現(xiàn)象，而是毛南族源了”蠻僚“的有力證明。