元代時期，境域屬沙門社。
清道光年間（1821年—1850年），長島設13社，大黑山島設北莊社和南莊社，小黑山島設小黑山島社，時北莊社轄北莊、土島2村，南莊社轄南莊、船旺、西濠、大濠、小濠5村，小黑山社轄小黑山村。
民國二十三年（1934年），改設北莊鄉(xiāng)和南莊鄉(xiāng)。
民國三十四年（1945年），隸屬廟島區(qū)。
民國三十五年（1946年），設黑山區(qū)。
民國三十七年（1948年），改設黑山鄉(xiāng)，區(qū)劃不變。
1949年后，仍設黑山鄉(xiāng)。
1958年11月，長島縣并入蓬萊縣，為長島公社黑山大隊。
1963年6月，復置長島縣，改設黑山公社。
1984年，撤銷黑山公社，設立黑山鄉(xiāng)。
1985年，撤銷黑山鄉(xiāng)，分別設立大黑山鄉(xiāng)和小黑山鄉(xiāng)。
2000年12月，小黑山鄉(xiāng)并入大黑山鄉(xiāng)，設立黑山區(qū)公所。
2003年2月，撤黑山區(qū)公所，設立黑山鄉(xiāng)。