春秋戰(zhàn)國時期先后屬楚、吳、越諸國。
楚國于此置合肥邑。
秦始皇二十六年（前221），置合肥縣，屬九江郡。
西漢前期屬淮南王國。
漢元狩元年（前122），九江郡轄合肥等縣。
東漢建武元年（25），改合肥縣為合肥侯國。
建安五年（200），合肥侯國復改為合肥縣。
三國屬魏國淮南郡。
西晉屬淮南郡。
東晉，縣廢。
南朝宋，于舊合肥縣地置汝陰縣。
汝陰屬南豫州南汝陰郡，為郡治。
梁天監(jiān)五年（506）改屬汝陰郡。
梁普通七年（526），屬南豫州，為南豫州治。
梁太清元年（547），屬合州汝陰郡。
隋開皇元年（581），改汝陰縣為合肥縣，改合州為廬州，合肥屬廬州。
唐貞觀元年（627），為合肥屬淮南道廬州治。
北宋淳化四年（993），合肥縣屬淮南道廬州。
至道三年（997），屬淮南路廬州，為州治。
熙寧五年（1072），屬淮南西路廬州，為州治。
元至元十四年（1277），屬淮西道廬州路。
至正十二年（1352），屬河南江北行省廬州路。
至正二十四年（1363），改路為府，合肥縣屬江淮行省廬州府，不久改屬江浙行省廬州府。
明洪武元年（1368），屬中書省直隸廬州府。
清順治二年（1645），合肥縣屬江南省廬州府。
康熙元年（1661）屬江南左省廬州府。
康熙六年（1667），合肥縣屬安徽省廬州府。
1912年，廬州府廢，合肥縣直屬安徽省。
1914年屬安慶道。
1928年，復直屬安徽省。
1945年，移省會至合肥。
1948年12月，析置肥西縣。
1949年2月1日，再次析置肥東縣。
1949年2月，合肥設市。
1952年，設立安徽省，省會駐合肥市，至此合肥正式成為安徽省省會。
1961年劃肥東、肥西、巢縣3縣分別入滁縣專區(qū)、六安專區(qū)、蕪湖專區(qū)。
1964年分壽縣、定遠、肥東、肥西4縣地置長豐縣，為市轄縣。
1983年肥東、肥西2縣復劃入市境。
1965年，長豐縣成為合肥市第一個市轄縣。
2011年8月，廬江縣與縣級巢湖市劃歸合肥市管轄。