1914年屬中區(qū)，1930年屬第八區(qū)。
1949年屬第六督導(dǎo)區(qū)。
1950年屬第一區(qū)。
1953年屬第八區(qū)。
1958年公社時代，取名張家山大隊，屬鸚鵡溪公社管轄。
1981年張家山大隊屬鸚鵡溪區(qū)的關(guān)口公社管轄。
1984年撤隊設(shè)張家山村，屬涼水井區(qū)的關(guān)口鄉(xiāng)管轄。
1992年2月，貴州省人民政府批準(zhǔn)思南縣進(jìn)行“建鎮(zhèn)并鄉(xiāng)撤區(qū)”工作，同年10月，撤銷涼水井苗族土家族鄉(xiāng)、息樂溪土家族苗族鄉(xiāng)、磨石溪土家族苗族鄉(xiāng)、磨溪鄉(xiāng)、關(guān)口土家族苗族鄉(xiāng)，合并建立涼水井鎮(zhèn)，轄原三個鄉(xiāng)的共30個行政村，張家山村屬涼水井鎮(zhèn)管轄。
2007年4月，縣人民政府下達(dá)《關(guān)于撤小村并大村整合的批復(fù)》，全縣開展撤小村并大村工作，把全縣561個村合并成168個村，涼水井鎮(zhèn)轄關(guān)口、水晶、磨溪、張家坳、息樂溪、謝家寨、涼水井、胡家莊、磨石溪9個行政村，其中，關(guān)口村由關(guān)口場村、簡家坳村、岳家寨村、張家山村、桃子灣村合并而成。
2010年11月16日，思南縣人民政府批準(zhǔn)調(diào)整全縣行政區(qū)劃，同意思唐鎮(zhèn)等27個鄉(xiāng)鎮(zhèn)行政村（社區(qū)）調(diào)整設(shè)置為行政村489個，社區(qū)37個。
涼水井鎮(zhèn)由原30個行政村調(diào)整設(shè)置為29個行政村，1個社區(qū)，張家山村屬涼水井鎮(zhèn)管轄。