南北朝北魏境置平阳、五城、定阳3个郡:平阳郡领禽昌(今尧都区东北)、平阳、杨县、襄陵、泰平(今襄汾县西北)、临汾、北绛(绛县分置南北)、永安8个县;曲沃县属征平郡(驻征平,今新绛县),平阳郡、征平郡俱属东雍州(与正平郡同治),太和十八年(年)改属司州(驻洛阳);五城郡(驻京军)领京军(今吉县县底村)、定阳(今蒲县黑龙关村)、刑军(今运城市河津市境内)3个县;定阳郡(驻定阳)领定阳(今吉县)、昌宁(今乡宁县西庄村)2个县,五城郡、定阳郡亦属东雍州,太和十二年(年)改属汾州(驻蒲子,今隰县)。
南北朝并立孝昌二年(年)置唐州、南汾州,建义元年(年)唐州改晋州,移治白马城(今临汾市区),下置9个郡:平阳郡,领禽昌、平阳、襄陵、临汾、泰平5个县;永安郡,领永安、杨县2个县;义宁郡,领义宁(今安泽县和川村)、安泽(今古县岳阳村)、沁源、团城(今长治市境)4个县;冀氏郡,领冀氏(今安泽县冀氏村)、和阳(今安泽县河阳村)2个县;北绛郡,领北绛(今翼城县北绛村)、新安(今翼城县辛安村)2个县;南绛郡,领南绛(今运城市绛县境内)、小乡(今翼城县西)2个县,以上6个郡和侨置的西河郡属晋州。定阳郡(驻定阳,今吉县)、五城郡(驻五城,今吉县屯里村)、中阳郡(驻昌宁,今乡宁县),以上3个郡属南汾州(驻定阳,今吉县)。正平郡(驻正平,今新绛县,领曲沃),属司州(驻洛阳)。
东魏在境内置晋州、南汾州,晋州领平阳郡、永安郡、义宁郡、冀氏郡、北绛郡、南绛郡6个郡和侨置的西河、北五城、定阳、敷城、河西、五城6个郡;正平郡(领曲沃),属东雍州(驻正平,今运城市新绛县)。南汾州领定阳郡、北吐京军(今吕梁市石楼县)、西五城郡(今吉县文城村)、西定阳郡(今乡宁县境)、五城郡(今蒲县境)、中阳郡(今乡宁县境)6个郡。定阳郡、五城郡、中阳郡后属西魏。
北齐在境内置晋州、南汾州。晋州领平阳郡、北绛郡、义宁郡、永安郡、汾西郡(驻临汾,今汾西县)5个郡和侨置的西河、北五城、定阳、敷城、河西、五城6个郡;南汾州领定阳郡、五城郡、中阳郡。正平郡、南绛郡属东雍州。
北周在晋州置总管府,境内置晋州、南汾州、汾州。晋州领平阳郡、北绛郡、义宁郡、永安郡、汾西郡(今汾西县申村)和侨置的西河、定阳2个郡;南汾州领定阳郡、中阳郡、五城郡;汾州(驻今隰县)领龙泉郡(今隰县)、临河郡(今永和县)。正平郡、绛郡属绛州(驻正平,今新绛县)。西河郡(领新城县,今汾西县云城村)属介州(驻今吕梁市汾阳市区)。
隋开皇元年(年)府罢,改平阳郡为平河郡,大业三年(年)晋州罢,改平河郡为临汾郡。境内置临汾、龙泉、文城3个郡:临汾郡领临汾(平阳改)、襄陵(禽昌改)、冀氏、杨县、霍邑(永安改)、汾西(临汾改)、岳阳(安泽改)7个县;龙泉郡领隰川(长寿改,今隰县城)、永和(临河改)、楼山(归化改,今永和县南)、石楼(吐京改)、蒲县(蒲子改)5个县;文城郡领吉昌(定阳改,今吉县)、文城(今吉县西北)、伍城(今吉县东北)、昌宁(今乡宁县南)4个县。翼城、曲沃、太平(今襄汾县北古县村)3个县属绛郡(驻正平)。
唐武德元年(年)复为晋州,三年(年)在晋州又置总管府。境内置晋州、慈州、隰州3个州。晋州(驻今市区),领临汾、洪洞(杨县改)、浮山(析襄陵置,四年改神山)、岳阳、霍邑、赵城(析霍邑置)、汾西、冀氏8个县;慈州(驻今吉是),领吉昌、文城、昌宁、仵城、吕香(今乡宁县西南)5个县;隰州(驻今隰县)，领隰川、蒲县、大宁、永和、石楼、温泉(今吕梁市交口县)6个县;太平、曲沃、翼城属绛州(驻今运城市新绛县);和川(今安泽县和川村)属沁州(驻今长治市沁源县);襄陵属河中府(驻今运城市永济市)。俱属河东道。贞观六年(年)废都督，十二年(年)移治平阳古城。后复移白马城。
五代后梁开平四年(年)晋州置定昌军，治白马城，贞明三年(年)改建宁军。境内置晋州、慈州、隰州，领县同唐。太平、曲沃、浍川(唐末翼城改)属绛州;和川属沁州;襄陵属河中府。
后唐同光元年(年)建宁军改建雄军。境内仍置晋州、慈州、隰州。晋州增领襄陵县;慈州领吉昌改名吉乡，昌宁改名乡宁，屈邑复名文城;绛州领浍川，复名翼城。
后晋、后汉建置不改。后周慈州领仵城县并入吉乡县，吕香并入乡宁县。
宋政和六年(年)晋州升平阳府，属河东路。府领临汾、襄陵、洪洞、赵城(后升庆祚军)、霍邑、汾西、神山、岳阳、和川、冀氏10个县，和隰(领隰川、蒲县、大宁、永和、温泉、石楼)、慈(领吉乡、乡宁)、绛(领太平、曲沃、翼城、正平、绛、稷山、垣曲)3个州。
金太宗天会六年(年)升总管府，析宋河东路置河东南路，驻临汾，路领平阳、河中2个府和隰、吉、绛、解、泽、潞、辽、沁、怀、孟10个州。平阳府领临汾、襄陵、洪洞、赵城、霍邑、汾西、浮山(神山改)、岳阳、和川、冀氏10个县;隰州领隰川、仵城、蒲县、大宁、永和、石楼6个县;吉州领吉乡、乡宁2个县;太平、曲沃、翼城、平水(临汾西)4个县属绛州。绛、解2个州治在今运城市境，泽、沁2个州在今晋城市境，潞州在今长治市境，辽州在今晋中市境，怀、孟2个州在今河南省境。贞祐三年(年)七月霍邑县升霍州，领霍邑、赵城、灵石3个县。兴定四年(年)翼城县升翼州，领隆化、绛县、垣曲3个县。兴定五年(年)蒲县升蒲州，领蒲县、大宁2个县。
元置平阳路，属中书省河东山西道宣慰司。大德九年(年)因地震改称晋宁路，驻临汾，路领河中府和隰、霍、吉、绛、解、泽、潞、辽、沁9个州。路直领临汾、襄陵、洪洞、浮山、汾西、岳阳6个县;府领6个县，州领40个县。隰州领隰川、大宁、永和、蒲县(蒲州改)、石楼;吉州领乡宁;霍州领霍邑、赵城、灵石;太平、曲沃、翼城(翼州改)为绛州领。河中府、解州领县在今运城市境，沁州、潞州领县在今长治市境，辽州领县在今晋中市境，泽州领县在今晋城市境。
明洪武元年(年)复置平阳府，属山西布政司。府领临汾、襄陵、洪洞、浮山、赵城、太平、岳阳、曲沃、翼城、汾西、蒲县、灵石12个县和吉、隰、霍、蒲、解、绛6个州。州领16个县，吉州领乡宁，隰州领大宁、永和，绛州、解州、蒲州领县在今运城市境。霍州初领灵石，万历二十三年(年)改属汾州府(今吕梁市汾阳市)，四十三年(年)割石楼属汾州府，而易灵石属平阳府。
清袭明制。府属山西布政司，领6个州28个县。雍正二年(年)蒲、解、绛、隰、吉5个州升为直隶州，割20个县属之。七年(年)闻喜、绛县属绛州，易太平、襄陵属府。九年(年)析隰州之汾西仍属府。乾隆三十七年(年)霍州升直隶州，吉州降为散州。至光绪年间，平阳府领临汾、洪洞、浮山、岳阳、曲沃、翼城、太平、襄陵、汾西、乡宁、吉州1个州县;霍州领赵城、灵石2个县;隰州领蒲县、大宁、永和3个县。蒲、解、绛3个州及领县在今运城市境。