建國初，隸屬眉縣鸚鴿區(qū)公所南瓦窯坡鄉(xiāng)，1950年5月至1953年1月隸屬眉縣齊鎮(zhèn)區(qū)瓦窯坡鄉(xiāng)管轄。
1953年2月劃歸太白中心區(qū)，隸屬于桃川區(qū)鸚鴿鄉(xiāng)管轄；1958年公社化時成立柴胡山生產(chǎn)大隊，隸屬于鸚鴿人民公社管轄；1966年更名為光明大隊革命委員會，1970年恢復(fù)柴胡山生產(chǎn)大隊稱謂；1980年12月撤銷大隊革委會，改建為大隊管委會。
1984年5月，組建鸚鴿鄉(xiāng)柴胡山村民委員會；1997年撤鄉(xiāng)建鎮(zhèn)，更名鸚鴿鎮(zhèn)柴胡山村民委員會至今。
2016年，村規(guī)模調(diào)整，吉利溝村撤并入柴胡山村，選舉產(chǎn)生了新的村民委員會。