中華人民共和國成立初期為新余縣鵠山區(qū)小步鄉(xiāng)。
1955年成立小步、潢里、水口圩、皂江等9個初級社。
1956年轉為小步、潢里高級社。
1958年為新余縣萬寶分社小步大隊。
同年轉為蒙山墾殖場小步分場。
1960年劃入上高縣，屬蒙山墾殖場。
1968年屬蒙山公社（場）小步大隊。
1972年場、社分開，為蒙山公社小步大隊。
1981年由小步大隊分出為小上大隊。
1984年為蒙山鄉(xiāng)小上村委會。
2013年為蒙山鎮(zhèn)小上村民委員會。