1948年4月前屬尚義鄉(xiāng)第一保（本保含烈姜溝、小溝、南地），后屬第二區(qū)（孝義區(qū)）東白沙行政村。
1952年屬第二區(qū)（孝義區(qū)）白沙鄉(xiāng)。
1959年為孝義公社小溝生產(chǎn)隊。
1961年為孝義區(qū)白沙公社小溝大隊。
1963年為孝義公社小溝大隊。
1982年孝義公社改為城關(guān)鎮(zhèn)。
1983年生產(chǎn)大隊改為村民委員會，為城關(guān)鎮(zhèn)小溝村，同年設(shè)立小溝村民委員會。
1986年城關(guān)鎮(zhèn)復(fù)名為孝義鎮(zhèn)。
2003年撤鎮(zhèn)設(shè)立孝義街道，為孝義街道小溝村民委員會。