历史悠久的山西，是中华文明的发祥地之一。众多的遗址诉说着山西的过往，西侯度遗址向人们展现了远在一百万年前，华夏民族在这块土地上的繁衍生息；相传嫘祖曾在夏县养蚕织绸，黄帝曾在安邑钦定衣冠……漫长的历史中，“启以夏政，疆以戎索”开启了山西独树一帜的地域文化进程。
华夏文明起源地之一
山西是华夏文明起源的中心区域之一。据统计，山西是我国旧石器时代文化遗址最多的省份，其中300多处遗址中，旧石器时代早、中、晚期的文化遗址都非常丰富，可自成序列。
1960年，人们在晋南芮城县西侯度村发现了一处遗址，遗址位于黄河东岸的古老阶地上。据测定，遗址地质年代为更新世，古地磁测定的年代为距今180万年，这是目前我国境内已知的最古老的旧石器文化遗址。在西侯度文化遗址中，还出土了石核、石片和石器等石制品32件，主要采用锤击、砸击和碰砧三种方法制成。从石制品的制作工艺看，说明当时工具的使用已经有了一定的分工。西侯度文化遗址的发现，大大提前了人类用火的历史和我国旧石器的历史。
1974年，在山西阳高县与河北阳原县之间发现了许家窑—侯家窑遗址。据测定，地质年代为中更新世末或晚更新世初，是旧石器时代早期之末或旧石器时代中期的文化遗址。遗址出土了不少人类骨骼化石，还有野马、鸵鸟、羚羊等动物化石。
1980年，人们又在山西临汾吉县县城以西的清水河岸发现了柿子滩遗址，在几十年的发掘中，逐渐形成了如今15平方千米的遗址群。2001年，又在这里发现了十多处用火遗址，还有石墨盘、石磨棒和蚌质穿孔装饰品等上万件。遗址文化遗物主要包括石制品和岩画两部分，石制品大多为石英岩制成，岩画则位于遗址西北侧石崖。
距今一万年前后，人类进入了新石器时代。仰韶文化是我国新石器时代中期文化的代表（因1921年首先发现于河南渑池县仰韶村而得名），仰韶文化在山西主要分为晋南的东庄村类型、庙底沟类型、西王村类型和晋北的后岗类型。
1958年，人们在晋南东庄村发现了一处新石器时代文化遗址。据出土文物了解，此时山西的古人类已进入农业、纺织、狩猎一体的生活，也有了初步的装饰观念。考古专家认为，在仰韶文化不同类型中，东庄村类型已超越半坡类型，正在向庙底沟类型过渡。
1960年，人们在芮城县发现了西王村遗址，并出土了不少生产工具、陶制品以及猪、狗的骨骼化石。据推测，此时的古人类已经开始驯养动物。此外，出土的陶器上还绘有几何纹、植物花纹、网纹和乳钉纹等纹饰，陶器也分为圆形、六角形和九角形三种类型，说明人类的对美的追求和意识正在逐渐加强。
尧、舜、禹与山西
在没有文字的时代，我们的祖先通过口耳相传来传承历史。到文字出现后，神话、传说与历史已经分不太清楚。
但在晋、陕、豫三省交界处的黄河中游地区，这里是华夏文明的发源地。尤其是晋南地区，处于核心地带，素有“中国”之称，这里不仅有丰富的文化遗存，也有数不胜数的上古传说。
在山西运城，流传着很多有关黄帝的传说，永济市风陵渡就因黄帝大臣风后之陵而得名。此外，晋东南地区还有很多祭祀炎帝的庙宇。据说炎帝后裔从陕西东迁曾散居于此。
黄帝之后，古书记载，“尧都平阳（山西临汾），舜都蒲坂（山西永济），禹都安邑（山西夏县）”，说的是尧、舜、禹在山西汾河下游创业建都的历史。
20世纪七八十年代，考古学家在山西襄汾陶寺村南发现了一处遗址群。在此后发掘过程中，考古队员发现了一个规模空前的古城遗址，还有大型建筑群以及大量的古墓群。其中有一座面积达1400平方米的圆形建筑遗址，共有三层，最上层是由11块夯土围成一个圆弧形。通过专家学者的研究，发现这是目前所知我国最早的观象台遗址，同时它也是世界上最早的观象台。在众多的古墓群中，还出土了大量随葬品，最精美的为彩绘陶器、玉琮、玉璧以及土鼓等物品。众多专家认为，陶寺遗址就是帝尧都城所在地，也就是传说中的“尧都平阳”。已故著名考古学家苏秉琦曾这样评价陶寺遗址：“陶寺文化不仅达到了比红山文化后期社会更高一阶段的‘方国’时代，而且确立了在当时诸方国中的中心地位，它相当于古史上的尧舜时代，亦即先秦史籍中出现的最早的‘中国’，奠定了华夏的根基。”
尧、舜、禹为同时代活动于不同地域范围的部落首领。舜帝部落中心位于山西永济一带，这里有着规模壮观的舜帝陵庙，有“舜耕历山”的“历山”。大禹治水的痕迹早已难寻，但在夏县和河津禹门口还流传着大禹的传说。1975年，考古学家在山西夏县下冯村发现了年代相当于夏朝的城堡遗址，城堡规模宏大，还出土了大量的石器、骨器和陶器，还有少量的铜器。类似下冯村城堡这样的遗址，在山西南部还发现有30多处，这进一步说明了晋南曾是夏朝的政治文化中心。公元前21世纪，禹的儿子启建立“家天下”，我国历史上第一个奴隶制王朝夏登上历史舞台，中国的历史也从此掀开了新的一页。
商朝以后的山西
商朝时，山西归属商朝的版图。从山西各地出土的青铜器可看出，其造型和纹饰等都有着明显的殷商时期的特征。西周时期，周成王之弟叔虞被封于唐；因唐国境内有晋水流过，叔虞的儿子燮父把唐改称为晋。
春秋时期，山西大部归属于诸侯国“晋”，山西因此简称为“晋”。晋文公重耳当政时期，这里出现了“政平民阜，财用不匮”的局面。随着晋国的逐渐强大，晋文公开始称霸北方。自此，山西在全国的影响力与日俱增。
公元前453年，晋阳之战开启，韩、赵、魏三家联合消灭了智氏，并将晋国三分，史称“三家分晋”，所以山西又称“三晋”。公元前403年，周天子正式承认韩、赵、魏三家为诸侯。据史料记载，当时赵国的都城在晋阳（今太原晋源镇），韩国的都城在平阳（今山西临汾），魏国的都城在安邑（今山西运城夏县北）。
秦始皇统一中国后，建立了中央集权制度，把全国划分为三十六郡，之后又不断增设到四十多郡，山西境内设有五郡：雁门郡、代郡、太原郡、上党郡、河东郡。
西汉时，雁门关以北是匈奴的地盘。公元前200年，汉高祖刘邦被围困在白登(今大同)达7天之久，西汉王朝不得不向匈奴妥协。此后，匈奴人开始逐步南下，并在吕梁山一带和汾河流域牧马。
魏晋南北朝是我国历史政权更迭最频繁的时期，尤其是在北方，更是战乱频仍，各方割据势力长时间地互相征伐，进一步加剧了社会的动荡局面。客观上讲，这种情况在一定程度上加速了民族的交往和融合。在融合过程中，北方少数民族不断汲取汉民族的先进生产技术和先进文化，生产方式也逐渐从游牧转为农耕。此时，北魏拓跋氏定鼎平城（今山西大同），并开始推行汉化；东魏、北齐开始以晋阳为根基，逐鹿中原。
隋朝建立以后，山西境内设有并、代、隰、朔四个州，以并州为首。此时，山西经济相当发达，既有盐池，又产粮食。隋末，李渊在儿子李世民和晋阳令刘文静等人的策划下，从太原起兵反隋，最后建立了大唐王朝。山西属于唐王朝的龙兴之地，因此唐王朝对于山西格外重视，不仅把晋阳城定为北都，并在这里大兴土木，兴建宫殿和城市，还在这里囤积了大量的兵器、粮食和甲胄。随着唐王朝的重视，山西的经济开始了快速发展。据统计，当时全国共有18个盐池，河东就有5个。
随着五代乱世的结束，山西在北宋时期又开始繁荣起来。南宋以后，因为太行山的天然屏障，山西受战乱的影响相对较小。元朝时，统治者视山西和山东为“腹里之地”，并派驻大量的军队加以统治。此时，山西经济和文化都有不小的发展，意大利著名旅行家马可·波罗在对当时的山西曾有这样的描述：“太原府工商颇盛，产葡萄酒及丝，有商人到印度通商谋利；平阳府居住的商人不少。”
明朝初年，户部侍郎刘九皋奏请迁移山西之民以实中原，山西居民因此迁往安徽、江淮、河北、河南和山东一带。永乐年间，“天子守国门”，又把山西中部、西南、东南居民迁往北平。据说山西居民在迁移之前，曾经在洪洞县大槐树下聚集，所以在这些省份至今仍流传着这样一句话：“若问祖先何处来？山西洪洞大槐树。”明朝末年，山西成了明军与起义军的主要战场。清朝时，晋商开始迅速崛起，晋商的发展对当时守土固边、促进经济和文化的发展发挥了重要的作用。尤其是山西票号，在中国商业史和金融史上留下了深深的印迹。
近现代山西
鸦片战争后，中国开始沦为半殖民地半封建社会，山西的经济、文化发展受到了严重破坏。民国三年（1914），袁世凯将归绥道分出山西，与兴和道建立绥远特别区，后又并入内蒙古自治区。
山西是著名的革命老区。红军长征到达陕北后，毛泽东亲自率领红军主力渡河东征，在晋西、晋中、晋南各地遍撒革命火种。全国抗战爆发后，八路军三大主力挺进山西，创立了敌后抗日根据地。八年抗战中，山西是华北抗战乃至全国抗战的重要战略支点。据统计，山西地方党组织共培养了15万名共产党员，根据地向八路军输送了60万余名热血青年。
抗日战争期间，山西人民进行了更加顽强的斗争，平型关大捷、百团大战、上党战役等，在三晋大地上谱写了无数可歌可泣的英雄故事。同时，中国共产党又以太行山、五台山、吕梁山为依托建立了晋冀鲁豫、晋察冀、晋绥革命根据地，在山西境内设太行、太岳、北岳、晋西北等行署，领导人民坚持对敌斗争。解放战争期间，山西更是成为支援全国解放的战略基地，广大民众积极支援前线，大批地方干部南下或东进、西进，奔赴新区，为中国革命做出了重大贡献。
1949年4月，山西全省解放。9月，成立了山西省人民政府，从此山西开始进入新的一页。尤其是在改革开放之后，山西作为全国发展的战略能源基地，为中国的经济建设事业做出了突出贡献。