桃山的名稱最早見于清末鐵山包協(xié)領(lǐng)署所屬屯地名稱標(biāo)志表。
清初屬呼蘭河上游地帶。
清末屬鐵山包協(xié)領(lǐng)署。
綏佳鐵路通車設(shè)站，居民增多，稱桃山屯。
東北淪陷后，日偽時期，桃山一度被稱謂“巖手”。
1938年，日本占領(lǐng)軍鐵力特別守備隊隊長土肥路大尉，從日本國巖手縣遷來開拓官民，在桃山建立桃山、巖手、老永府三個開拓團(tuán)。
因他們來自日本國巖手縣，他們就把桃山叫作“巖手”，屬鐵驪縣鐵驪保。
1943年，屬慶安縣。
1949年8月，屬鐵驪縣鐵驪區(qū)。
1951年9月，改隸第四區(qū)。
1953年，增設(shè)桃山村。
1956年1月，設(shè)桃山鄉(xiāng)。
同年11月，屬鐵力縣。
1958年9月，并入神樹公社，屬慶安縣。
1962年改隸鐵力縣。
1971年1月，析神樹公社西部的6個生產(chǎn)大隊置桃山公社。
1983年5月，改為桃山鎮(zhèn)。
1988年，屬鐵力市。
2001年神樹鎮(zhèn)并入桃山鎮(zhèn)。
2018年，原神樹鎮(zhèn)行政區(qū)域從桃山鎮(zhèn)劃出，恢復(fù)神樹鎮(zhèn)。