清末屬山陽一里；民國初年，漢陽縣建立十八個(gè)區(qū)，屬第十五區(qū)；1945年全縣分四鎮(zhèn)十九鄉(xiāng)，屬黃陵鄉(xiāng)；1949年全縣劃分為五區(qū)一鎮(zhèn)，屬一區(qū)；1952年組成同建一、三社，翌年轉(zhuǎn)為兩個(gè)高級社；1958年人民公社化時(shí)，改名小軍大隊(duì)，屬東風(fēng)人民公社；1961年轉(zhuǎn)為國營東城垸農(nóng)場，翌年劃為軍山公社，分為小軍、中嶺、磨子石、徐家堡4個(gè)大隊(duì)；1965年小軍、中嶺合并為小軍大隊(duì)；1984年改小軍村，設(shè)小軍村村民委員會，屬軍山鎮(zhèn)；2004年屬軍山街道；2014年因經(jīng)濟(jì)開發(fā)，全村計(jì)劃拆遷，村委會和村民搬遷至小軍山社區(qū)。