“河出图、洛出书”，在古代被认为是一种祥瑞。如麒麟出、凤鸟现一样，视之为天下太平、国富民安的治世征兆，历代皇帝无不大造此“祥瑞”，以示其天意所归，万民所宗。粉饰太平盛世。那么这种被封建社会文武百官奉为不可多得的东西，究竟是什么呢？又是何时形成的呢？
河图、洛书最初是指天赐的祥瑞，古人认为，它们的出现，预示着圣人的出现、国家的兴盛、人民的幸福。古代有许多关于河图、洛书的传说：
《尚书·顾命》：“大玉、夷玉、天球、河图在东序。”
《论语·子罕》：“凤鸟不至，河不出图，吾已矣夫。”
《墨子·非攻下》：“天命周文王伐殷有国，泰颠来宾，河出绿图，地出乘黄。”
《管子·小匡》：“昔人之受命，龙龟假，河出图、雒出书、地出乘黄，今三祥未见有者。”
《周易·系辞上》：“河出图、洛出书，圣人则之。”
从这些传说看来，历史上河图、洛书可能出现过不止一次。但是，这些传说都没有说河图、洛书究竟是什么，甚至连极粗略的描述也没有，因此引起了后人无尽的猜想。
汉代刘歆以河图、洛书来解释《周易》八卦和《洪范》的来源。他说，伏羲为王的时候，天赐以河图，伏羲根据河图画出了八卦。大禹治水的时候，天赐以洛书，大禹根据洛书而陈述了《洪范》。《尚书》伪孔安国传中说得更为神奇而又具体，称伏羲为王的时候，有龙马出河，伏羲根据龙马身上的花纹画出了八卦，这就是河图。大禹的时候，有神龟从洛水中负文而出，其背上有数至于九，禹就是据此而成《洪范》的九类常道，这叫“天与禹洛出书”。汉代还有不同的说法，有人认为：“河以通乾出天苞，洛以流坤吐地符，河龙图发，洛龟书感，河图有九篇，洛书有六篇。”还有人认为，河图即九宫。但这些说法没有刘歆和伪孔传的说法影响大。
到了宋代，关于河图、洛书的说法更为奇特和多样，还出现了形形色色的有关河图、洛书的图画。刘牧受道士陈希夷的嬗传，撰《钩隐图》，以四十五为河图。说伏羲时，有龙马负天地之数出于河，头戴九，脚履一，二与四为肩，六与八为足，五为心腹，纵横数之和都是十五，总点数为四十五。又以五十五为洛书，以合《周易·系辞》“天地之数五十有五”之说。刘牧认为，河图、洛书都出于伏羲之世，伏羲兼法之以画卦，后来禹又法之以陈《洪范》九畴。朱熹对所谓陈希夷所传的河图、洛书，曾有所怀疑，但他根据关于明的《复传》和邵雍的《观物外篇》，认为五十五当为河图，四十五应为洛书，并在他的《周易本义》中首列之。宋以后，朱熹所列的河图、洛书成为儒家《易》学之正宗，而河图、洛书一时竟被认为是《周易》核心所在，似乎《周易》之作，完全是出于河图、洛书。
清代的学者，如黄宗羲、毛奇龄、胡渭等，对河图、洛书进行了较为详尽的考证和研究，指出，刘牧、朱熹所画的图书，实源于《汉书·五行志》、郑玄《周易注》、《周易乾凿度》、九宫之说等等，并非《周易·系辞》中所说的河图、洛书或“天数之书”。于是，宋以来的图、书之论，遂遭人们所不信。
从河图、洛书演变的历史来看，先秦的那种作为祥瑞的河图、洛书究竟是什么已不可考了，近人有以为《尚书·顾命》所说的河图是古代地理书，也有人认为是精美的玉器，这都是推测，但河图、洛书确曾实有其物。汉人创作了关于河图、洛书的神话，但这似乎也只能作神话看待。宋人始作黑白点子的河图、洛书，虽然也近于荒唐，但经由清代学者的考证，其来由却较清楚。它们和中国古代数学有密切联系。四十五的河图与“九宫算”有关，五十五的洛书则与古人对圆方关系的理解有关，所以并非完全是无稽之谈。如果我们剔除其神秘荒唐的成份，倒不失为研究古人思想和中国古代数学史的好材料。但直到现在，河图、洛书的神秘世界我们仍没有揭开。