南宋咸淳間（1265～1274）屬昌化縣金山鄉(xiāng)，元代仍之，明初屬金山鄉(xiāng)七都，清雍正七年（1729）亦屬金山鄉(xiāng)七都。
民國初屬昌南鄉(xiāng)，民國17年（1928）屬昌南區(qū)，民國21年（1932）屬悉山鄉(xiāng)，民國34年（1945）悉山村屬河橋鎮(zhèn)至解放。
1950年為悉山鄉(xiāng)一村、二村、三村、四村，1955年冬為軍建低級社，1956年為橫塘、韓家、軍建高級社，1958年為國慶公社洪嶺管理區(qū)軍建、潘家、韓家生產(chǎn)隊，1961年為臨安縣洪嶺公社橫塘、韓家、軍建、潘莊生產(chǎn)大隊，1984年為洪嶺鄉(xiāng)橫塘、韓家、軍建、潘莊村，2001年屬湍口鎮(zhèn)。
2007年村規(guī)模調(diào)整，四村合并為雪山村，轄10個自然村。