南朝劉宋元嘉十三年（436），劃南海郡四會(huì)縣銀屯鄉(xiāng)設(shè)立，屬綏建郡。
隋開(kāi)皇九年（589）至大業(yè)十三年（617）懷集縣屬南海郡。
元至元十五年（1278），懷集縣改隸湖廣中書行省賀州；明洪武九年（1376）改隸廣西梧州府；清光緒三十四年（1908），改隸廣西平樂(lè)府；1912年改隸廣西梧州府；1934年隸屬?gòu)V西平樂(lè)督察專員公署；1951年5月由廣西省西江專員公署代管；1952年3月，屬西江專員公署；同年12月屬粵中區(qū)行政專員公署；1956年2月屬高要專員公署；1959年開(kāi)建縣并入稱懷建縣，屬江門專員公署；1961年4月分出開(kāi)建縣，隸屬肇慶專員公署；1968年3月屬肇慶市地區(qū)革命委員會(huì)；1979年3月屬肇慶地區(qū)行政公署；1988年1月，屬肇慶市管轄，沿用至今。