清光緒前，原是葦灘，人煙稀疏。
自左宗棠率軍收復新疆，始有部分湘軍留駐此地屯墾。
后漸有陜、甘、寧、湖、堿青一帶農民相繼來此，拓荒建村，從事水稻種植。
民國時期，劃為乾德縣長山子鄉(xiāng)。
解放后，1951年成立長山子區(qū)，轄上梁頭、黑水、二灣、堿梁4個鄉(xiāng)。
1958年，公社化初期成立了紅旗人民公社。
1964年，公社駐地遷至吉三泉。
1978年更名為長山子公社。
1984年，根據(jù)昌吉回族自治州人民政府文件《關于六戶地等七十一個鄉(xiāng)、民族鄉(xiāng)、鎮(zhèn)名稱的通知》昌州發(fā)（1984）199號文件建立長山子鄉(xiāng)。
1994年撤鄉(xiāng)設鎮(zhèn)，沿用至今。