1949年隸屬第二區(qū)（石花區(qū)）管轄。
1951年6月，屬石花區(qū)真武鄉(xiāng)。
1956年成立高級社時，取名軍山社、軍為社，屬縣轄真武鄉(xiāng)。
1958年人民公社化時期更名為軍山大隊、軍為大隊，屬幸福之家（石花）人民公社真武管理區(qū)。
1961年恢復區(qū)制，屬石花區(qū)真武公社。
1975年撤區(qū)并社，兩大隊合并為將軍大隊，屬石花公社真武管理區(qū)。
1981年更名為老軍臺大隊，屬大峪橋公社真武管理區(qū)。
1984年“政社分設(shè)”時更名為老軍臺村，屬石花鎮(zhèn)街道辦事處。
1995年，屬大峪橋鎮(zhèn)。
2001年大峪橋鎮(zhèn)被撤銷，其所轄行政管理區(qū)劃歸石花鎮(zhèn)，老軍臺村由石花鎮(zhèn)管轄。
2002年成立社區(qū)后，更名為老君臺社區(qū)，隸屬石花鎮(zhèn)管轄至今。