东晋末年，今海西西部为吐谷浑境内，东部为鲜卑夷孚国（后并入吐谷浑）境内。 吐谷浑首领石隐即位时（约公元452年），在白兰（今都兰县诺木洪一带）筑城墙。 吐谷浑弗兰丑即位时期（公元491年—529年），在今诺木洪地区建都。 海西境内，后迁至福齐城（今共和县石奶海乡铁布恰古城）。
隋大业五年（公元609年），隋军击败吐谷浑，在当地设置四郡。 今海西东部属西海县，西部属鄯善县。 隋末，吐谷浑回到故地。
唐贞观十年（公元636年），吐谷浑成为唐朝的藩属国。 隆朔三年（公元663年），吐蕃王国灭吐谷浑，侵占其领土。 今海西州曾属吐蕃腊城节度使管辖。
宋代，今海西西部为萨里回鹘（即黄头回鹘）土地，东部为吐蕃地方政府——焦斯洛的势力范围。
元代，今海西府西北地区属甘肃沙州路管辖，其余大部分属宣政院属吐蕃宣威司等部门管辖。 元顺帝年间，设元帅瞿显大林府，封不延帖木儿为宁王，镇守今柴达木西部。
明初，现在的海西是安定、阿瑞、渠县、邯东四卫地区，也归西宁卫管辖。 武宗正德七年（公元1512年）左右，东蒙古部落开始进入青海，突破了塞外四重关。 至此，这里成为东蒙古部落统治的地区。 崇祯十年（公元1637年），居住在今新疆卫拉特蒙古（即蒙古）的和硕特部落在其首领古世罕的带领下进入青海，统治今海西地区。
清雍正三年（公元1725年），清廷为青海蒙古盟左右两翼编制了29面旗帜。 海西府现有蒙古旗9个，均隶属“钦差处理青海蒙古板子事务”管辖。 乾隆二十二年（公元1757年），班禅喇嘛上尚迁居巴彦托会、约和洛伊（今都兰县香日德地区），建立班禅香氏家族旗号。 咸丰八年（公元1858年），藏族王氏岱海部落迁入今浚县驻扎牧民，当地蒙古族北前旗北迁至祁连。 光绪年间（公元1875年—1908年），苟里、日安等200个藏族部落迁入今都兰县定居。
民国元年（公元1912年）七月，改青海事务部长为青海事务总长，今海西地区属其。 次年增设蒙古、范宣慰安使，管理蒙藏事务。 民国四年（公元1915年）改为赣边、宁海卫戍使管理。 民国六年（公元1917年），隶都兰总督辖，隶属赣边宁海卫戍使。 民国十九年（公元1930年），都兰县改称都兰县，辖海西专区全境，隶属青海省。 民国二十七年（公元1938年），在都兰县察罕乌苏镇设立青海省第八行政督察署。 民国三十年（公元1941年）改称青海省第一行政督察署都兰。 辖县属。 在此期间，即民国二十四年至三十年（公元1935年—1941年），部分居住在新疆的哈萨克人陆续迁入现在的海西地区并定居。
1949年9月，青海解放。 同年11月，都兰县人民政府（驻察罕乌苏）成立，管辖今海西州全境，直属青海省管辖。 1952年9月26日，撤销都兰县，设立县级“都兰县蒙藏哈萨克自治区”。 1954年1月25日改制为区级“海蒙藏哈萨克自治区”（驻察罕乌苏），1955年12月12日更名为“海蒙藏哈萨克自治州”。
为了开发建设柴达木盆地，1955年7月30日在格尔木成立了“柴达木工作委员会”，作为青海省人民委员会的派出机构，处理柴达木盆地开发建设的日常工作。 1956年2月，更名为“柴达木盆地工作委员会”，同年3月，总部迁至大柴旦。 1957年4月，撤销“柴达木盆地工作委员会”，成立“柴达木盆地管理委员会”。 1958年1月，更名为“柴达木管理委员会”。
1959年1月，海西州人民委员会由察罕乌苏迁至大柴旦，与“柴达木管委会”合署办公。 1963年8月26日，“柴达木行政委员会”撤销，整个行政区域称“海海蒙古族藏族哈萨克自治州”。 1966年4月，州府迁至德令哈。 1984年5月，全州哈萨克族群众自愿请求，经国务院批准，全部迁回新疆。 1985年5月21日定名为“海海蒙古族藏族自治州”。