吕梁是革命老区。 革命战争时期，是红军东征的主战场、晋绥边区首府、中央邮委所在地。 《吕梁英雄传》是战争年代吕梁人民不畏牺牲、奋勇争先的真实写照。 吕梁是一个新开发区。 2003年建市，是山西省最年轻的地级市。 孝义市和所辖柳林县是山西省县域经济发展的排头兵。
吕梁的建立可以追溯到春秋时期。 当时吕梁辖曲邑、平陵、中阳、瓜岩等县。 公元前376年，韩、赵、魏“分晋”后，吕梁成为赵国领地，有中阳、子市（原瓜堰，今汾阳、孝义地区）、大陵（旧称“平陵”）、现在的文水）等等。 秦庄襄王四年（公元前246年）置太原郡后，吕梁成为太原郡属地，包括大陵、紫石等县。
汉初，吕梁仍属太原郡境内。 汉武帝元朔四年（公元前125年）设西河郡后，吕梁分西河、太原、平阳三县。 大陵、平桃（今文平桃村）、紫石属太原县管辖； 西和县辖临、高朗、中阳、离石、土军、西、邻水； 朴子县隶属平阳县管辖。 王莽改汉后，改紫石县为梓潼，改大陵县为大宁，改平桃县为多让，改临水县为建水。 东汉建立后，各县恢复旧名。
东汉初，吕梁属西河、太原、河东三郡。 西和县辖离石、林、高朗、临水、中阳、平州县； 大陵、平桃、紫石县隶属太原县； 浦子县隶属河东县。 永和五年（公元140年）九月，“因匈奴袭扰，西和县南移五百九十里”置离石县，为吕梁最早建县。 同年，邻水县并入离石市。 中平年间，明治县“南徙至紫石县境，寻荒”。 建安二十一年（公元218年）“南匈奴附”，左部居訾氏，中部居大陵。
三国初分时，吕梁是魏国的领土。 黄初二年（公元221年）置西和县，辖紫石县，辖离石、中阳等县； 大陵县、平桃县仍属太原县管辖，朴子县仍属平阳县管辖。
西晋时，吕梁县属西河国、太原国。 各县不变，只改紫石县为西城（西和国隶虢县，今汾阳）。 东晋十六国时期，吕梁境内较为混乱。 后赵石勒元年（公元319年），“离石县荒”，置永石县，求改西河。 后燕建立离石卫军。 永兴后，西河县并入太原县。
北魏初，吕梁为太原郡属地，辖大陵、平桃、紫石等县。 天兴初增设离市镇，延和三年（公元434年）设土井镇。 太平真君九年（公元448年），土井镇分为灵东、灵西两县，置平桃县。 拓跋焘改平遥县，后迁出区，大陵县改为寿阳县。 太和八年（公元484年）复西和县。 太和十年（公元486年），改土井镇为土井县。 同年，撤销朴子县，设立汾州。 设立土井、西河等五县。 其辖县。 太和十七年（公元493年）置永安县。 太和二十一年（公元497年），改灵东县为新城，改灵西县为土井。
东魏时期，吕梁仍为汾州、太原郡属地。 汾州辖西河、土井等县，西城、永安县属西河县，土井、新城县属土井县，蒙阳县仍属太原县。 之后，离石境内仍设立离石镇。
北齐、北周时期，吕梁是两个政权的纷争之地。 北齐葫芦金修筑的长城起点——金锁关就在该地区的黄鹿岭上，遗址至今尚存。 当时吕梁地区包括西汾州怀正县、南朔州西和县、土井县神武县、并州太原都城。 南朔府由汾州改名，治所仍设西城，隶西和县。 离石镇改为怀正县，辖县包括彰化、梁泉等县。 渭芬县属神武县，蒙阳县属太原县，土井县、新城县属土井县。 后来因郡县减少而发生变化。 怀正县。 北周建德年间，西汾郡改称石州； 象时期，南朔郡改称解州。 并增设塞图、库胡、乌图三县及同名县。
隋代，吕梁属离石县、西河县、太原县、娄烦县、龙泉县。 离石、秀华（由库湖县改制）、太和（由五土县改制）、平邑、鼎湖（行政所在地现柳林孟门）、宁乡等县属离石县，西和县下辖西城、永安县，勐阳县仍属太原县，兰城县属楼烦县，石楼县属龙泉县。
唐代吕梁属施州、汾州、喜州、兰州、并州（后改为太原府）。 西河（由西城县改制）、孝义（由永安县改制）县属汾州、离石、平邑、鼎湖（行政所在地现柳林盟门），临泉、房山属施州，宜房和河两县兰州属于兰州； 石楼县、温泉县属喜州； 交城（新设）县、文水县属并州（太原府）。
五朝时期，吕梁疆域未变。
宋代，吕梁属施州、汾州、兰州、喜州、晋宁军、太原府。 离石、平邑、房山县为施州所辖县。 西河、孝义为汾州所辖县； 宜方县、和河县为兰州市辖县； 石楼、温泉为喜州所辖县； 鼎湖（行政所在地今柳林孟门）、临泉属晋宁军县管辖； 太原地区辖交城县、文水县。
到了金朝，只是因为废除了晋宁军，将其管辖的县改为石州，而其他州县的隶属关系则没有变化。
元代，吕梁大部属太原路（后改为集宁路）管辖，下辖交城县、文水县、兴州、兰州、林州、施州（辖离石县、宁乡县） 。 、汾州（所辖县包括西河县、孝义县）。 石楼隶属晋宁路县管辖。
明初，除石楼县属喜州外，吕梁各州县均属太原府。 辖县包括兴县、岚县、临县、交城、文水，州辖施州（辖宁乡县）、汾州（辖孝义县）。 万历二十三年（公元1595年）五月，汾州升为府，在郭附近置汾阳县。 州、县、临县、永宁府（隆庆三年后改称石州）及宁乡县所辖县及原汾州县改为汾州。 设立汾阳县为郡府。 万历四十年（公元1612年）石楼县隶汾州府。 清代沿袭帝制，编制不变。
民国元年（1912年），撤销汾州府设置，废永宁府改为县。 三年（1914年）正月，改永宁县为离石，改宁乡县为中阳。 民国七年（1918年）增设房山县。
抗日战争和解放战争时期，吕梁各县均属晋绥边区（原晋西北）行署。
1949年9月，山西省人民政府成立后，在吕梁设立兴县、汾阳专区。 全县包括汾阳、孝义、交城、文水、中阳、石楼等9县。
1951年3月27日，撤销汾阳专区。 交城、文水、汾阳、孝义等县划归榆次府，中阳县划归兴县，石楼县划归山南府。
1952年7月1日，撤销兴县专区，兴县、兰县划归雁北专区； 临县、房山、离石、中阳划归榆次府。
1954年7月1日，离石、房山两县并入历山县。 1958年11月10日，文水县、交城县并入汾阳县，中阳县、骊山县并入离石县，孝义县并入介休县，兰县分别并入静乐县、骊山县。 兴县、石楼县并入陆良县。 1959年9月19日，除孝义县外的所有县恢复建设，1961年5月，孝义县恢复建设。
1971年5月，设立吕梁区，恢复房山县，增设娄烦、交口县； 1972年4月，娄烦县划归太原市； 1971年10月5日，增设柳林县。 元年二年，孝义撤县设市，六年元年，离石、汾阳撤县设市。
2003年10月23日，国务院批准吕梁撤县设市。 与此同时，离石市由县级市改为市辖区。 所辖孝义、汾阳两个县级市改为山西省、吕梁市。 城市管理。
2004年7月9日，吕梁撤地后正式设市。