遂城鎮(zhèn)始建于春秋戰(zhàn)國時期，古稱武遂，遂州。
明代前，為徐水區(qū)的兵防要地和政治中心。
隋開皇十八年（596年），為遂城縣縣府所在地。
北宋時，為宋、遼界城。
金天會七年（1129年），在遂城立州治名遂州。
明洪武初，降州為縣；明洪武八年（1375年），遂城縣并入安肅縣。
清初，遂城鄉(xiāng)屬西路，清末登遂城社。
民國三十一年（1942年），劃歸第五區(qū)。
1953年，分為城西、謝坊營、遂城、大次良4個鄉(xiāng)。
1958年，建遂城人民公社。
1984年2月，改建為遂城鎮(zhèn)。
1996年，廣門鄉(xiāng)并入。