舊稱墨爾根。
兩漢及南北朝時期屬北夫余。
隋唐為室韋地。
遼屬東京道。
金屬上京蒲峪路。
元屬遼陽行省開元路。
明屬奴爾干都司。
清為黑龍江將軍轄地。
清康熙二十四年（1685），于此地設(shè)北路驛站第六站，稱“墨爾根站”。
清康熙四十九年（1710），隸屬黑龍江將軍管轄。
清光緒三十三年（1907），裁將軍改設(shè)行省，隸屬黑龍江行省管轄。
清光緒三十四年（1908），裁撤墨爾根副都統(tǒng)，設(shè)嫩江府，駐墨爾根城。
1913年，嫩江府改為嫩江縣，縣署駐墨爾根城，隸屬黑龍江省。
1914年6月，改隸龍江道。
1929年2月，復(fù)由省直轄。
1931年后，隸屬黑龍江省。
1934年，將嫩江以西的行政區(qū)域劃歸巴彥旗。
同年12月，改隸龍江省管轄。
1939年6月，改隸北安省。
1943年10月，劃歸黑河省管轄。
1945年，劃歸嫩江省管轄。
1947年2月至9月，隸屬黑龍江嫩江聯(lián)合省第二專區(qū)。
1949年5月，黑龍江、嫩江兩省合并后，隸屬黑龍江省管轄。
1954年8月，劃歸新設(shè)嫩江專區(qū)。
1970年3月，改屬黑龍江省黑河地區(qū)。
1993年3月，屬黑河市。
2019年7月撤銷嫩江縣，設(shè)立縣級嫩江市，由黑龍江省直轄黑河市代管。
名稱沿用至今。