1934年稱港源鎮(zhèn)。
1946年改雙巖鄉(xiāng)。
1949年5月建政時稱雙巖鄉(xiāng)。
1950年屬白姆、麻陽兩鄉(xiāng)。
1956年兩鄉(xiāng)合并為紅旗鄉(xiāng)。
1958年初屬躍進鄉(xiāng)，10月撤銷武義縣并入永康縣，屬下楊公社白姆管理區(qū)。
1961年10月屬武義縣白姆公社。
1983年7月改為白姆鄉(xiāng)。
原后樹鄉(xiāng)在解放初屬履坦區(qū)家山鄉(xiāng)。
1950年建立后樹鄉(xiāng)。
1956年3月后樹、要巨、桃溪灘三鄉(xiāng)合并稱勝利鄉(xiāng)。
1958年10月撤銷武義縣并入永康縣，屬下楊公社白姆管理區(qū)。
1961年10月屬武義縣后樹公社。
1983年7月政社分設成立白姆鄉(xiāng)人民政府。
1992年5月由白姆、后樹兩鄉(xiāng)撤并建立白姆鄉(xiāng)，并沿用至今。