开皇初年撤销介休郡，平昌县属西河郡；开皇十年（590年），县境西南析置灵石县；开皇十八年（598年），平昌县复名介休县，属西河郡；义宁元年（618年），复置介休郡，县属介休郡。唐代，武德元年（618年）介休郡改名介州，县属介州；贞观元年（627年）撤销介州，县属河东道汾州；天宝元年（742年），属西河郡；乾元元年（758年），属汾州。五代时介休县属太原府汾州。北宋至道三年（997年），属河东路汾州；熙宁五年（1072年），孝义县并入介休县，元佑元年（1086年）又复置孝义县。金代，介休属河东北路汾州。元代，属河东山西道宣慰司冀宁路汾州，至元二年（1265年）还属汾州。
明代洪武元年（1368年），介休属山西布政使司汾州；万历二十三年（1595年），属山西布政使司汾州府。清代，介休依旧属山西省汾州府。民国元年（1912年）属山西省，民国3年属冀宁道，民国19年属山西省。抗日战争时期，介休的行政区划较为复杂。民国26年（1937年）12月，成立介休抗日县政府，属山西省第四行政区；“十二月事变”后，属山西省第三行政区路西办事处。民国30年（1941年）2月，属太岳专署；5月属太岳专署第三办事处；8月属晋冀鲁豫边区第九专署。同年4月，铁路北地区与平遥、孝义、汾阳县汾河地区合并成立平介县，属晋绥边区吕梁行署七专署。民国31年（1942年）5月，铁路南地区与灵石县河东地区合并成立介灵联合县，初属晋冀鲁豫边区第九专署，次年3月属太岳行署第一专署。民国32年（1943年）6月，介灵分置，介休抗日政府隶属未变。日本侵略军投降后，县抗日政府更名为县民主政府，隶属依旧。民国34年（1945年），日军无条件投降后，介休统委会接管了介休日伪政权，改统委会为县政府，属山西省。民国37年（1948年）7月17日介休解放，阎政权垮台，介休城解放后，属晋中区三专署，是年10月平介县撤销，原介休铁北地区归回。
1949年10月10日，介休县民主政府改为介休县人民政府，隶属榆次区行政督察专员公署，此后曾先后属榆次专署、晋中专署。1968年9月，属晋中地区革命委员会；1978年5月，属晋中行署。1992年2月经国务院批准，撤县设市，原介休县行政区域为介休市行政区域，仍属晋中行署。1999年9月，国务院批准撤销晋中地区，设立地级晋中市，县级介休市改由山西省直辖、地级晋中市代管。