清乾隆二年（1937），奉天旗人墾荒，此地東北0.5公里處有一顆榆樹，故得名“小榆樹”。
隸屬呼蘭城正紅旗。
清光緒三十一年（1905），隸屬南鄉(xiāng)一區(qū)。
中華民國(guó)時(shí)期屬三保。
東北淪陷后，改設(shè)榆林村。
1946年將榆林村和和朋來(lái)村合并設(shè)置榆林區(qū)，1949年改為第二區(qū)。
1956年并村劃鄉(xiāng)，設(shè)置榆林鄉(xiāng)。
1958年與城山、大房身鄉(xiāng)合并成立榆林人民公社，1966年改稱太陽(yáng)升公社，1980年更名為榆林公社。
1983年，改為榆林鎮(zhèn)。