先秦時期早在22000年前（舊石器時代晚期），哈爾濱地區(qū)就已經(jīng)有人類活動。
大約5000年前，哈爾濱地區(qū)進入新石器時代。
大約3000年前（殷商晚期），哈爾濱進入青銅時代，屬于黑龍江地區(qū)最早的古代文明國家——白金寶文化的分布區(qū)域。
自帝舜時始，經(jīng)夏、商、周3代（公元前23世紀(jì)至公元前5世紀(jì)），哈爾濱地區(qū)為肅慎族故地。
秦漢至南北朝時期漢代，肅慎改稱挹婁，哈爾濱地區(qū)是其西部邊緣。
北魏時期，挹婁改稱勿吉。
歷經(jīng)兩漢和魏晉時期，哈爾濱地區(qū)為扶余國屬地。
公元5世紀(jì)，勿吉滅扶余國，進入哈爾濱地區(qū)，在阿什河畔建立安車骨部，成為勿吉七大部落聯(lián)盟之一。
隋唐至宋元時期隋唐時期，勿吉改稱靺鞨。
公元691年，唐朝派兵征討南下的黑水部靺鞨，進入安車骨部腹地，黑水部靺鞨敗散，安車骨部靺鞨也大量奔散逃離，靺鞨歸屬于唐。
唐圣歷元年（公元698年），靺鞨族建立地方民族政權(quán)震國（公元713年改稱渤海國），渤海國仿行唐朝的府州縣行政制度，哈爾濱為渤海國鄚頡府屬地。
遼代契丹太宗天顯元年（公元926年），渤海國為契丹所滅后，原渤海境內(nèi)的女真族興起，分生女真、熟女真兩部。
生女真位于長白山及松花江流域，哈爾濱為生女真屬地。
遼天慶五年（公元1115年），生女真完顏部酋長阿骨打大敗遼軍后建立大金國，并將上京（哈爾濱阿城）設(shè)立為國都與兩大漢軍萬戶的居住地。
哈爾濱屬上京路會寧府轄境，是金朝京畿重地。
元代窩闊臺汗六年（金天興三年，公元1234年），金王朝滅亡，元朝實行行省制，哈爾濱屬開元路轄境，且哈爾濱地區(qū)成為成吉思汗三弟帖木哥·斡赤斤家族的封地。
明清時期公元1395年，明朝廷派兵攻擊忽刺溫江（今哈爾濱市境呼蘭河）與元殘余勢力密切的女真西陽哈部，并追擊到甫答迷舊城（今哈爾濱市賓縣鳥河古城）。
經(jīng)陸續(xù)招撫女真諸部，哈爾濱地區(qū)才正式歸屬明朝。
明朝對東北地區(qū)實行都司衛(wèi)所制管理，設(shè)遼東都司和奴兒干都司。
哈爾濱地區(qū)屬奴兒干都司兀失衛(wèi)轄境。
清朝建立后，東北地區(qū)因是滿族故鄉(xiāng)，則采用軍府制，全部裁撤明朝設(shè)在東北地區(qū)的都司衛(wèi)所。
清順治三年（公元1646年）五月，哈爾濱歸奉天昂邦章京管轄。
清順治十年（公元1653年）五月，哈爾濱歸寧古塔副都統(tǒng)屬地。
清康熙三十七年（公元1698年），哈爾濱松花江北岸地區(qū)，屬黑龍江將軍下齊齊哈爾副都統(tǒng)轄境。
清乾隆九年（公元1744年），現(xiàn)哈爾濱松花江南岸地區(qū)屬吉林將軍下拉林副都統(tǒng)下阿勒楚喀協(xié)領(lǐng)管轄。
清乾隆三十四年（公元1769年），裁撤拉林副都統(tǒng)，現(xiàn)哈爾濱松花江南岸地區(qū)分屬吉林將軍下阿勒楚喀副都統(tǒng)下阿勒楚喀協(xié)領(lǐng)和拉林協(xié)領(lǐng)管轄。
清同治元年（公元1862年），按旗民分治設(shè)置呼蘭廳，哈爾濱松花江北岸地區(qū)為黑龍江將軍下齊齊哈爾副都統(tǒng)下屬呼蘭廳所轄。
清中后期，隨著“京旗移墾”和“開禁放荒”政策的實施，大量滿漢百姓移居至哈爾濱地區(qū)。
19世紀(jì)末，哈爾濱已出現(xiàn)村屯數(shù)十個，居民約3萬人，為城市的形成與發(fā)展奠定了基礎(chǔ)。
清光緒二十二年（公元1896年），沙俄誘迫清朝廷簽訂不平等的《中俄御敵互相援助條約》，允許俄國修筑中國東省鐵路（即中東鐵路），并于1898年確定哈爾濱為中東鐵路樞紐和管理中心。
哈爾濱成為沙俄的侵華總埠，成為沙俄殖民統(tǒng)治的租借地。
1903年中東鐵路建成時，哈爾濱地方的濱江地區(qū)為吉黑兩將軍的呼蘭、阿勒楚喀兩協(xié)領(lǐng)轄區(qū)。
1904年，日俄戰(zhàn)爭爆發(fā)，哈爾濱成為俄國的重要戰(zhàn)略后方。
20世紀(jì)初，哈爾濱就已成為國際性商埠，先后有33個國家的16萬余僑民聚集這里，19個國家在此設(shè)領(lǐng)事館，成為當(dāng)時的北滿經(jīng)濟中心和國際都市。
中華民國時期民國二年（公元1913年）1月29日，吉林省民政公署將吉林省西北路分巡兵備道改為吉林省西北路道，道署設(shè)于哈爾濱。
民國三年（公元1914年）5月，吉林省西北路道改稱濱江道。
民國十五年（公元1926年）9月1日，成立哈爾濱特別市政局，直屬東省特別區(qū)行政長官。
民國十八年（公元1929年）2月，濱江道撤銷，濱江縣直接隸屬于吉林省政府。
民國二十一年（公元1932年）2月5日，日本侵略軍占領(lǐng)了哈爾濱；7月1日，偽滿政府發(fā)布命令，成立哈爾濱市政籌備處，隸屬于偽滿國務(wù)院。
民國三十四年（公元1945年）8月15日，日本宣布投降，哈爾濱市成立臨時性的地方維持會；9月18日蘇聯(lián)紅軍進駐哈爾濱市后，次日組成哈爾濱市衛(wèi)戍司令部及哈爾濱軍事管制委員會，對哈爾濱市實行全面管制；9月25日，蘇軍哈爾濱軍事管制委員會宣布解散哈爾濱市地方維持會，組成在蘇軍管制下的哈爾濱市政府。
民國三十五年（公元1946年）1月2日，國民政府直屬的哈爾濱特別市政府成立，接管原蘇聯(lián)紅軍軍事管制委員會控制下的哈爾濱市政府；4月27日，國民政府所屬的哈爾濱特別市政府遂解體。
民國三十五年（公元1946年）4月28日，哈爾濱建立了人民政權(quán)，成為中國解放最早的大城市；5月3日，哈爾濱市政府成立，隸屬松江省政府，設(shè)道里、新陽、道外、馬家、南崗、三棵樹、香坊、松浦8個區(qū)。
民國三十五年（公元1946年）11月18日，哈爾濱市政府改為哈爾濱特別市政府，隸屬于東北行政委員會。
1949年3月1日，哈爾濱特別市政府改稱哈爾濱市政府，仍隸屬東北行政委員會；4月21日，哈爾濱市政府改為哈爾濱市人民政府，隸屬松江省人民政府，為松江省省會城市。
中華人民共和國成立后1953年7月18日，哈爾濱市改為中央直轄市（由東北人民政府代管）。
1954年8月1日，松江省與黑龍江省合并，成立新的黑龍江省，哈爾濱市劃入黑龍江省建制，成為黑龍江省的省轄市，并定為黑龍江省省會。
1955年2月11日，哈爾濱市人民政府改稱“黑龍江省哈爾濱市人民委員會”。
在“一五”時期，哈爾濱是國家重點建設(shè)城市之一，有13項蘇聯(lián)援建的重點建設(shè)工程，構(gòu)筑了哈爾濱基本的工業(yè)格局，奠定了哈爾濱成為國家重要機電工業(yè)基地的地位，由一個消費城市轉(zhuǎn)變?yōu)樾屡d工業(yè)城市。
1958年至1965年，哈爾濱經(jīng)歷了“大躍進”和經(jīng)濟調(diào)整的曲折發(fā)展過程。
1960年6月，原黑龍江省松花江地區(qū)所轄的五常、雙城、巴彥、木蘭、通河5縣劃歸哈爾濱市管轄，肇東縣劃出，由松花江地區(qū)管轄；至此，哈爾濱市共轄阿城、呼蘭、雙城、五常、巴彥、賓縣、木蘭、通河8個縣。
1965年7月，將哈爾濱市所轄8個縣劃歸松花江地區(qū)管轄。
1966年至1976年“文化大革命”期間，哈爾濱市人民委員會基本癱瘓。
1967年2月16日，“哈爾濱市人民公社”成立；26日，“哈爾濱市人民公社”更名為“哈爾濱市紅色造反者革命委員會”；4月13日，哈爾濱市紅色造反者革命委員會改稱“哈爾濱市革命委員會”，它既是市人民代表大會的常設(shè)機關(guān)，又是市人民政府。
1980年1月11日，哈爾濱市革命委員會改為哈爾濱市人民政府，轄有道里、道外、南崗、香坊、動力、太平、平房7個區(qū)。
1996年，松花江地區(qū)與哈爾濱市合并，組建新的哈爾濱市，行政管轄區(qū)域為道里區(qū)、南崗區(qū)、道外區(qū)、香坊區(qū)、動力區(qū)、太平區(qū)、平房區(qū)7個區(qū)；五常市、雙城市、阿城市、尚志市、呼蘭縣、巴彥縣、賓縣、依蘭縣、延壽縣、木蘭縣、通河縣、方正縣12個縣（市）。
2004年2月，新設(shè)立松北區(qū)，撤銷太平區(qū)，撤銷呼蘭縣設(shè)立呼蘭區(qū)。
2006年8月，撤銷動力區(qū)，撤銷阿城市設(shè)立阿城區(qū)。
2014年5月，撤銷雙城市設(shè)立雙城區(qū)。
至2022年底，哈爾濱市轄9區(qū)9縣（市）。