这个故事出自《史记》中的太史公自序，司马迁叙述了自己的生平经历。
司马迁出生在龙门，曾在龙门山南过了一段耕田和放牧的生活。十岁时开始学习古文，二十岁开始南下游历，先后曾到过江淮一带，还上过会稽山，探访过禹穴；到过九疑山，瞻仰过舜的坟墓，而后乘船到过沅水和湘水；接着又北上到了汶水、泅水，在齐鲁的旧都临淄、曲阜游过学，领略了孔子的遗风，还到邹县、峄山参加过乡射活动；后来路经鄱县、薛县、彭城时，遇到了一些麻烦，吃过一些苦头，最后经过梁国、楚国回到了家乡。回来后不久就出仕做了郎中，后来又奉命出使去了巴、蜀以南，到过邛都、笮都，以及昆明国，然后才返回来。
就在这一年，汉武帝第一次去泰山举行祭祀天地的封禅大典，司马迁的父亲司马谈因为有病走到洛阳时就留下来，不能跟着去参加了，因此他很遗憾生气。正好这时司马迁从云南出使回来，父子俩在洛阳见了面。司马谈拉着儿子的手流着眼泪说：“我们的祖先曾经是周朝的太史。再早的先人在虞舜夏禹的时代就曾有过显赫的功名，主管过天文。后来半道上衰落了，难道在我们这里就让它断了吗？如果今后你能够再当上太史令，那就继承了我们祖先的事业了。当今皇帝上接千年来已经断绝的大典，到泰山去祭天，可我却偏偏不能跟着去，这不是命吗，我死后，你一定会做太史令；你要是做了太史令，千万不要忘记我想写的那部著作。孝道的最浅层次是侍奉父母，中间层次是侍奉国君，最高层次是建立功名。使自己名扬后世，连父母也跟着光荣，这才是最大的孝道。人们为什么赞扬周公呢？就因为他能够歌颂文王、武王的功德，使自己和召公的风教普行于天下，他发挥了太王、王季的思想，并向上一直追溯到公刘，推尊到他们的始祖后稷。自从幽王、厉王以来，王道不昌，礼崩乐坏，多亏后来孔子整理了旧时的文献，振兴了已被时人废弃的礼乐，他讲述了《诗》、《书》，撰写了《春秋》，直到今天，学者们还把它视为行为的准则。从鲁哀公获麟孔子搁笔以来，到今天又有四百多年了，由于各国的兼并战乱，当时的历史书都已散失断绝。当今汉朝建立，国家统一，明主贤君、忠臣义士的事迹很多，我们身为史官，不能把他们都写下来，以至于造成历史文献的荒废，那是很可怕的，你一定要好好注意这件事。”司马迁低着头，流着眼泪说：“我虽然不聪明，但我一定要把您已经收集整理的资料写成著作，决不能让它有半点缺失。”
司马谈去世三年后，司马迁果然做了太史令，于是他就开始阅读国家图书馆里所收藏的那些图书档案。又过了五年，也就是太初元年，这一年的十一月初一即甲子日凌晨冬至，国家颁布了新历法，在明堂里举行了典礼，各地的诸侯们都一体遵照实行。
司马迁说：“我父亲曾说过，周公死后五百年，出了孔子，孔子死后到现在又有五百年了，有谁能继承并发扬古代圣人的事业，能正确地理解《易传》，能接续着孔子的《春秋》，依据着《诗》《书》《礼》《乐》的本质意义，来写一部新的著作呢？说不定这个人就在眼前吧！我怎么能推让呢？”
于是司马迁就开始编排史料，进行评论，写成文章。写到第七年，由于李陵问题，司马迁遭了罪，被下在了牢狱里。于是他伤心地说：“这是我的罪过吗？我的身体已经遭到了毁伤，恐怕再也干不成什么事情了！”可是转而一想，又说：“《诗》《书》之所以写得含蓄，不就是为了得以表达作者的思想吗？当初周文王被囚禁在羑里时，趁机推演了《周易》；孔子在陈国、蔡国倒霉了，开始发愤写《春秋》；屈原由于被流放，写了《离骚》；左丘氏由于失明，写了《国语》；孙膑断了双腿，写了《兵法》；吕不韦流放巴蜀，世上传诵《吕览》；韩非在秦国下狱，写出《说难》《孤愤》；《诗经》三百篇，大部分也都是圣贤们发愤写出来的。这些人都是因为有抱负，而又得不到施展，所以才通过写书来叙述往事，寄希望于后来的知音。”于是就叙述了上起唐尧，下至汉武帝获麟为止的漫长历史，而第一篇则是从黄帝开始的。