青山社區(qū)，明清朝代，屬黔中道遵義府縣南鄉(xiāng)忠莊里五甲，民國(guó)二年（1913），屬南三上區(qū)。
民國(guó)二十一年（1932），為太保鎮(zhèn)屬第八上區(qū)；民國(guó)三十年（1941）建南白鎮(zhèn)轄11個(gè)保，屬第七保（后壩）。
解放后1950年10月，隸屬后壩村，1958年9月，置人民公社，村為大隊(duì)，組為生產(chǎn)隊(duì)。
青山村更名青山大隊(duì)隨后壩鄉(xiāng)合并建南白區(qū)水庫(kù)群人民公社。
10月，隸屬后壩管理區(qū)。
1961年8月，隸屬后壩人民公社。
1984年9月，恢復(fù)鄉(xiāng)村建制，將公社、生產(chǎn)大隊(duì)、生產(chǎn)隊(duì)更名為鄉(xiāng)、村、村民組。
青山大隊(duì)更名為青山村仍隸后壩鄉(xiāng)。
1992年9月至1994年8月，隸屬后壩片區(qū)管理區(qū)。
1994年8月，隸屬后壩辦事處。
2004年2月撤銷(xiāo)后壩辦事處，由青山村10個(gè)村民組、底貓河村3個(gè)村民組、柏村村12個(gè)村民組合并建置。
2016年8月改設(shè)為青山社區(qū)居民委員會(huì)。