克山一帶,清代屬布特哈游牧地,清末添設(shè)民官,歸訥河直隸廳管轄。
中華民國(guó)成立后,1915年3月18日,于訥河縣屬三站地方設(shè)量克山設(shè)治局,隸屬龍江道管轄,衙暑初設(shè)二克山。
同年8月2日批準(zhǔn),改設(shè)克山縣,后將縣署移駐三站(亦稱察霍鎮(zhèn).今克山縣城)。
1929年2月,裁撤龍江道,改由省直轄。
11月,將二克山一帶劃出設(shè)置克東設(shè)治局。
東北淪陷后,初隸黑龍江省,1934年12月劃歸龍江省管轄。
1939年6月,劃歸新設(shè)之北安省管轄。
1945年"九三"抗日戰(zhàn)爭(zhēng)勝利后,隸屬黑龍江省管轄。
1954年8月,松江、黑龍江兩省合并后,由省直轄。
1956年3月,劃歸嫩江專區(qū)管轄。
1960年5月至1961年10月,嫩江專區(qū)一度撤銷時(shí),曾歸齊齊哈爾市領(lǐng)導(dǎo)。
1985年1月,嫩江地區(qū)正式撤銷,劃歸齊齊哈爾市領(lǐng)導(dǎo)。
名稱沿用至今。