漢屬合浦、蒼梧2郡，置臨允縣屬合浦郡。
三國吳屬蒼梧郡。
東晉析置新寧、晉康郡，新寧郡治臨允。
南朝梁置新州治新興、瀧州治龍鄉(xiāng)、建州治安遂，都城屬廣州。
唐開元十八年(730)復(fù)置勤州，移治富林;天寶元年(742)勤州改置云浮郡，為云浮名之始。
唐代新州、瀧州仍之，都城改屬康州。
明萬歷四年(1576)置羅定直隸州，其余屬肇慶府。
1936年屬第三行政督察區(qū)。
1949年后歷屬西江專區(qū)、肇慶市等。
1951年3月起云浮、羅定、新興、郁南4縣隸屬西江專員公署，12月起隸屬粵中行政公署。
1958年11月，云浮縣與新興縣合并稱新云縣，羅定縣與郁南縣合并稱羅南縣，隸屬江門專員公署。
1959年1月，羅南縣改稱羅定縣，4月，新云縣改稱新興縣，均隸屬江門專區(qū)。
1961年10月，恢復(fù)羅定縣、郁南縣、云浮縣、新興縣建制，先后隸屬肇慶專員公署和肇慶地區(qū)行政公署、肇慶市（地級）。
云浮市設(shè)立于1994年4月，隸屬廣東省人民政府。
管轄云城區(qū)、云安縣（2014年9月改稱云安區(qū)）、新興縣、郁南縣、代管羅定市（縣級）。
自命名后沿用至今。