黑河市歷史悠久。
據(jù)考古證明，早在舊石器時(shí)期就有人類(lèi)在此地活動(dòng)，形成古代土著民族的基礎(chǔ)。
早在舊石器時(shí)代晚期就有古人類(lèi)勞動(dòng)、生息、繁衍在黑龍江流域這片廣袤的土地上。
前16世紀(jì)，居住在今黑河市北部、嫩江流域的東胡、穢貊等族居民，同商朝有過(guò)“東胡黃羆，山戎戎蓀”的貢納關(guān)系。
西周初年，居住在黑龍江中、下游的肅慎族已向周王朝貢。
三國(guó)時(shí)，屬扶余。
唐朝，黑龍江中下游屬黑水靺鞨。
開(kāi)元十三年（725年），唐朝設(shè)立黑水都督府，黑水靺鞨屬之。
唐王朝直接任命長(zhǎng)史。
貞元八年（792年），唐王朝為加強(qiáng)對(duì)室韋人居住地區(qū)的統(tǒng)治，又設(shè)立都督府。
金朝，屬上京路所轄蒲峪路。
元朝，屬遼陽(yáng)行省的開(kāi)元路和水達(dá)達(dá)路。
為溝通內(nèi)地與黑龍江流域的聯(lián)系，建立了許多"站赤"。
明朝，設(shè)立奴爾干都司，女真、契丹均屬之。
奴爾干都司在東北地區(qū)設(shè)立衛(wèi)、所、站、面、寨，黑河大部分地區(qū)屬薩哈連地面，亦稱(chēng)黑龍江地面。
清康熙二十三年（1684年）10月，為了抵抗沙俄侵略者，清政府在黑龍江左舊璦琿城設(shè)置了黑龍江衙門(mén)（同時(shí)設(shè)1名將軍和2名副都統(tǒng)）。
康熙二十四年（1685年），黑龍江將軍衙門(mén)遷到黑龍江右新璦琿，即今愛(ài)輝區(qū)璦琿鎮(zhèn)。
康熙二十九年（1690年），黑龍江將軍衙門(mén)又移駐墨爾根（今嫩江市），璦琿副都統(tǒng)留守原城并從屬黑龍江將軍。
民國(guó)年間，黑河市大部分地區(qū)為黑河道尹公署管轄。
抗日戰(zhàn)爭(zhēng)爆發(fā)后，民國(guó)二十二年（1933年）1月25日，日本侵略者占領(lǐng)黑河。
民國(guó)二十三年（1934年）12月1日，成立偽黑河省。
民國(guó)三十四年（1945年）8月，黑河解放。
11月19日，成立嫩江省黑河地區(qū)行政辦事處。
11月中旬，成立中共黑河地區(qū)中心縣工作委員會(huì)。
12月14日，嫩江省黑河地區(qū)行政辦事處更名為黑龍江省黑河地區(qū)行政辦事處。
民國(guó)三十五年（1946年）9月7日，黑龍江省政府決定設(shè)立黑河地區(qū)行政督察專(zhuān)員公署。
民國(guó)三十六年（1947年）初，黑龍江、嫩江兩省合并為黑嫩省。
2月7日，黑龍江省黑河地區(qū)行政督察專(zhuān)員公署改稱(chēng)為黑嫩省第五行政督察專(zhuān)員公署。
9月17日，原黑嫩省第五行政督察專(zhuān)員公署改稱(chēng)為黑龍江省黑河行政督察專(zhuān)員公署。
1950年1月16日，黑河行政區(qū)督察專(zhuān)員公署改稱(chēng)為黑龍江省黑河區(qū)專(zhuān)員公署。
1955年4月19日，黑河區(qū)專(zhuān)員公署改稱(chēng)為黑龍江省黑河專(zhuān)員公署。
1967年4月9日，成立黑河地區(qū)革命委員會(huì)。
1979年2月8日，撤消黑河地區(qū)革命委員會(huì)，成立黑龍江省黑河地區(qū)行政公署。
1993年2月8日，國(guó)務(wù)院決定撤消黑河地區(qū)，設(shè)立黑河市（地級(jí)市）。