与平陶县同属太原郡。王莽“新朝”时，京陵改名为致城，东汉时又恢复旧称。三国时期，平遥归魏，属西河郡。西晋时，隶属太原国。北魏始光元年（424年），为避太武帝拓跋焘名讳，平陶县改名为平遥县，属太原郡，后迁至京陵县境，同时废除京陵县并入平遥县 。太平真君九年（448年），中都县治迁至榆次县境，此后平遥县先后被东魏、北齐、北周控制。
隋开皇三年（583年），废除郡制设立州制，平遥属介州。开皇十六年（596年），析置清世县，大业二年（606年）又废入平遥县。大业三年（607年），废除州制设立郡制，平遥属西河郡（介州改）。义宁元年（617年），在介休设介休郡，平遥县改属介休郡。唐武德元年（618年），介休郡改为介州，平遥属介州。武德二年（619年），平遥县城被刘武周引突厥兵攻陷。贞观元年（627年），介州废除，平遥属汾州。天宝元年（742年），汾州改为西河郡，平遥属西河郡。乾元元年（758年），西河郡又改为汾州，平遥仍属汾州 。五代十国时期，唐同光元年（923年）后，平遥为后唐统治；晋天福元年（936年）后，归后晋管辖；汉天福十二年（958年）后，属后汉；周广顺元年（951年）后，被北汉占据。北宋初年，平遥仍归北汉，太平兴国四年（979年）归北宋，属汾州。靖康元年（1126年），金左副元帅率军6万进攻汾州平遥县城，宋援军5000余人及居民100余户长期抵抗后，城被攻陷。南宋建炎元年（1127年），金灭北宋，平遥归金统治，仍属汾州，元朝时未变。
明洪武二年（1369年），大水成灾，冲垮平遥西城墙，次年进行扩建城池。自明万历二十三年（1595年）至清朝，平遥县一直属汾州府，属山西省承宣布政使司，又设冀南道驻此。清顺治三年（1646年），裁撤冀南道，平遥隶冀宁道，仍属汾州府。中华民国元年（1912年）废府后，平遥县直属于省。民国二年（1913年）3月，省县之间设道时，属中路道。民国三年（1914年）6月，属冀宁道（中路道改）。民国十六年（1927年）4月，山西废除道制后，平遥县直辖于省。民国二十七年（1938年）2月13日，日军侵占平遥，县城沦陷。同年4月，在县内彭坡头村建立平遥县抗日民主政府，属山西省第三行政公署领导，后属太岳区一专区管辖 。民国三十年（1941年），为适应抗日战争需要，以同蒲铁路为界，实行南北分治，在铁路北境建立平介县抗日民主政府（辖同蒲铁路