漢初為西遷大月氏控制；漢元光五年（前130年）為烏孫牧地，屬匈奴；漢神爵二年（前60年），歸西域都護(hù)府管轄；明代屬瓦剌蒙古土爾扈特部牧地；明崇禎元年（1628）屬準(zhǔn)噶爾部牧地；清乾隆二十年(1755)，平定準(zhǔn)噶爾部，今市境內(nèi)附；乾隆二十七年（1762），庫(kù)爾喀喇烏蘇設(shè)辦事大臣，今市境南部獨(dú)山子等地歸其統(tǒng)領(lǐng)；乾隆二十九年（1764），清政府設(shè)塔爾巴哈臺(tái)參贊大臣，今市境西北部一帶由其統(tǒng)領(lǐng)；乾隆四十三年（1778），清政府在瑪納斯河流域設(shè)綏來(lái)縣，屬迪化州直隸，轄區(qū)包括今市境的百口泉、夏子街、大拐、中拐、小拐等地；光緒十二年（1886年），塔爾巴哈臺(tái)直隸廳成立，轄區(qū)包括今市境北部地區(qū)，市境東部大拐、中拐、小拐一帶仍屬綏來(lái)（瑪納斯）轄區(qū)，歸迪化府管轄；1913年塔爾巴哈臺(tái)、庫(kù)爾喀喇烏蘇直隸廳改置為縣，分轄市境南北二部；1916年裁塔爾巴哈臺(tái)參贊大臣，設(shè)塔城道，下轄塔城、烏蘇、沙灣縣，今克拉瑪依市境一帶統(tǒng)歸其轄。
其后市境先后隸于第五行政區(qū)、塔城專(zhuān)區(qū)；新中國(guó)成立前，分屬沙灣縣、烏蘇縣、克烈半個(gè)縣（今托里縣）、和豐縣（今和布克賽爾蒙古自治縣）。
1955年，成立獨(dú)山子礦區(qū)行政委員會(huì)。
1956年成立縣級(jí)獨(dú)山子鎮(zhèn)。
1958年設(shè)立縣級(jí)克拉瑪依市。
1982年升格為地級(jí)市。
1984年改為自治區(qū)直轄縣級(jí)市。
1990年恢復(fù)地級(jí)市。
近年來(lái)，依托“智慧城市”建設(shè)，實(shí)現(xiàn)產(chǎn)業(yè)升級(jí)，“戈壁油城”變身智慧城市。