解放前屬于城南鄉(xiāng)第8保，1950年建政為城南鄉(xiāng)小山村，1958年成立城南人民公社為小山管理區(qū)，1961年改為小山大隊，1984年體改，改為小山村。
2004年將原光明村所屬的1、2、7、8、9、10、11、12村民小組并入小山村隸屬渠南鄉(xiāng)，2019年5月渠南鄉(xiāng)調(diào)整變更為渠南鎮(zhèn)，2019年12月行政區(qū)劃調(diào)整改革渠南鎮(zhèn)調(diào)整為渠南街道，2020年5月村級建制調(diào)整改革小山村調(diào)整為小山社區(qū)，現(xiàn)隸屬于渠南街道，至今。