历史上，河图洛书是最富有神秘色彩的。传说上古时候黄河里出现了一匹龙马，它的身上显示出一幅由许多黑白点构成的图案，这就是河图。接着洛水里出现了一只神龟，它的龟壳上也排列着一幅由许多点黑白组成的图形，这就是洛书。龙马和神龟都是上天派来的神物，那么河图洛书自然就是上天显示给人类看的，这就是“上天垂象”。
上天既然已经垂象给人，人就要弄明白上天的意思，于是研究河图洛书就成为一门学问。河图来自黄河，洛书来自洛水，因此河图洛书也属于河洛文化，而河洛文化正是中华文化的源头。河图洛书虽然说一个是图，一个是书，其实二者都是由黑白点构成的图案，并没有文字说明，二者的异同主要体现在数字上。
首先，河图、洛书都自水中来，这体现了不变的道理。《河图歌》中第1句就是“天一生水”，看来当时的人已经认识到水对人的重要性，对于今天的人来说，生命来自于海洋、水为生命之源已经成为一种共识。
其次，河图由龙马负载，洛书由神龟负载，并不是出自同一个地方由同一种神物负载，这个差别体现的是变的道理。此外，学界所说的河图为体，洛书为用；河图为经，洛书为权；河图主常，洛书主变；河图重合，洛书重分，这也是二者的差别，也是变的道理。
第三，仔细观察河图、洛书中黑白点的排列，发现看似杂乱无章的图像，自有它内在的数理逻辑。计算图中点的数目，并用数字表示出来，再加以归纳，就形成了《河图歌》和《洛书歌》，这就是河图、洛书的象。
从数来看，洛书中每组数字（例如天一生水，地六成之），二者的差是5；河图中两组数字（例如戴九履一），二者的和是10。河图体现的是增，洛书体现的是减，这体现的是变的道理。从数字的位置来看，两幅图中1、3、5的位置是不变的，而这三个数都是奇数，也称为阳数，这体现的是不变的道理。
从理来看，河图洛书的一增一减是数字的规则，也是人生的大法则，人生就是四个字：有得有失。《淮南子》中“塞翁失马焉知非福”，《圣经》中“当上帝关了这扇门，一定会为你打开另一扇门”都是这个道理。
至于为什么1、3.、5的位置不变，是因为这三个数代表的事物对人很重要。“天一生水”，因此1代表水。现代研究发现，人在胎儿时身体中水分高达90%，婴儿时下降为80%，成年时下降为70%，到了老年只有60%，可见水对人生命的重要。
“天三生木”，因此3代表木，代表生的力量。冬天时草木枯黄一片死寂，等到了春天生的力量发动，原本干枯的树枝冒出新绿的嫩叶，苍山变青山仿佛就在一瞬间。人在选择居住地时，偏爱山清水秀草木茂盛的地方，就是因为那里有生气，人就活得身心健康。所谓逐水草而居，并不是游牧民族特有的习性，而是人普遍的环境取向，这或许与人类由猿演变而来有关。
“五在中央”，5代表土，表示人生存的根本。直到现在，人在某个地方无法生存，就会说“无立锥之地”“无容身之地”，还是以土地为依据。这三个数字代表的是不变的道理。
了解了河图洛书的理象数，就会发现原来天书般的图案还是比较好理解的，如果再配合伏羲先天数、五行、五方、四象、八卦，再以现实生活中的文化传统和现象加以印证，就更加明白这两幅看似难懂的图案，就在我们的日用常行内，我们早已习以为常。不懂时觉得很难，懂了以后其实很简单，这就是简易的道理。
河图洛书体现的变、不变、简易的道理，就是《易经》中“不易”“变易”“简易”的三大原则，也被称为“三易”，是《易经》的核心价值所在。
孔子在《易经·系辞》中说“天垂象，见吉凶，圣人象之；河出图，洛出书，圣人则之”，这个圣人并不是指孔子自己，孔子所说就是依据河图洛书画八卦的圣人伏羲。上天显示河图洛书给人，人研究发现其中的道理和规律，并掌握运用于人事万物，这就是天人之学，司马迁在《史记》中所说的“究天人之际”，正是天人之学的应用。