明清兩朝回瑤稱均亭里。
明代屬群玉鄉(xiāng)。
清代康熙年間仍屬群玉鄉(xiāng)。
清道光均亭里轄29個自然村。
民國十七年（1928）廢里，成立回瑤鄉(xiāng)，下轄44個自然村，隸屬一區(qū)童游。
民國二十一年（1932）成立回瑤聯(lián)保，屬二區(qū)（童游）。
民國二十五年（1936）屬一區(qū)（城坊）。
民國二十九年（1940）撤聯(lián)保，成立回瑤鄉(xiāng)，屬一區(qū)（城坊）。
民國三十年（1941）直屬縣政府。
民國三十四年（1945）全縣合并鄉(xiāng)鎮(zhèn)，回瑤鄉(xiāng)撤銷。
中華人民共和國成立后，1950年分別成立回瑤鄉(xiāng)、洪尾鄉(xiāng)、溪源鄉(xiāng)、溪口鄉(xiāng)，屬三區(qū)（徐市）管轄。
1952年調整部分政區(qū)，回瑤鄉(xiāng)、洪尾鄉(xiāng)、溪口鄉(xiāng)統(tǒng)稱東南鄉(xiāng)，屬城關區(qū)（城關鎮(zhèn)），1958年人民公社化后（1962年前）成立回瑤大隊，隸屬城關公社。
1984年回瑤大隊改為回瑤村村民委員會，屬童游鄉(xiāng)管轄。
2002年12月后，歸潭城街道管轄。
2022年2月23日后，歸寶山街道管轄。