解放前，葫麻水屬靖遠(yuǎn)縣。
1933年，景泰成立后，葫麻水劃歸景泰，屬蘆陽(yáng)區(qū)。
解放前屬景泰縣中泉鄉(xiāng)第三堡，解放后屬五區(qū)第三鄉(xiāng)，1955年撤區(qū)并鄉(xiāng)，屬常灣鄉(xiāng)，后與常生合建常水高級(jí)社，1958年公社化后，為中泉公社長(zhǎng)水大隊(duì)。
1961年體制調(diào)整時(shí)，白水、大水、紅峴臺(tái)、崇華、常生、葫麻水大隊(duì)分出。
（1961年至1964年屬三水公社），1974年從常水大隊(duì)分出，建立葫麻水大隊(duì)。
1982年正式命名為葫麻水村，沿用至今。