司马迁是史官世家。他的父亲司马谈也是汉朝的太史令。他们的祖上在周朝时就当过史官。司马谈是一个学识十分渊博的人，他曾掌管汉朝的天文、历法和负责记录历史文献。趁此机会，他收集了大量的历史资料，计划写一部全面记述中国历史的史书。但由于工作量巨大，他自己又年老多病，已经不可能全部完成这项工程了，因此，他在临终前郑重地嘱咐儿子一定要完成自己的这个遗愿。
司马迁年轻时便开始博览群书，积累资料，而且还不断地到全国各地去游历，通过访人问古，考察各地的历史名胜与古迹，从民间了解历史人物和他们的事迹，了解各地的风土人情和地理环境，获得了历史典籍上所没有的大量翔实丰富的史料。他曾三次大规模出游，南至今天的江、淮、湘、浙，以至四川、云南，北至长城内外，东至今河南、山东直达滨海，西至陇西，足迹踏遍了整个长江和黄河流域。
正当司马迁进行了长达二十年的知识积累，开始写作这部历史巨著的时候，李陵事件发生了。因为李陵战败投降了匈奴，司马迁帮李陵说了好话，惹怒了汉武帝。当时朝廷专管刑法的廷尉杜周，为了迎合和讨好皇帝，竟给无辜的司马迁判了“腐刑”（就是残害人的生殖器官）。
遭受如此的酷刑，是人生的奇耻大辱。这对于一个正直清高的知识分子来说，他本来已经没有勇气再活下去了。但是，父亲的遗愿还没有完成，自己用一生的精力所搜罗的材料，以及想要表达的观点和思想，难道就这样放弃了吗？他又不甘心。
经过了无数个日日夜夜的痛苦煎熬，他终于想通了——周文王忍受巨大痛苦在牢里写下《周易》；孔子一生困厄不得志写下《春秋》；左丘明两只眼睛全瞎了，以巨大毅力写下《国语》；屈原遭人排挤诬陷被流放，写下了长篇名诗《离骚》；孙膑被剜掉了两腿膝盖骨，忍受痛苦写下了《孙膑兵法》；历史上这些伟人能做到的，为什么自己不能呢？于是他下决心效仿古人，去完成自己的宏愿。
司马迁出狱后，汉武帝让他当了中书令。他以巨大的毅力忍受着从朝廷上下投来的鄙视与嘲讽的目光，又经过了十数年坚韧不拔的艰苦努力，终于以自己的生命与血汗，完成了这部空前伟大的历史巨著。这部著作，当时称作《太史公书》，后人便称它为《史记》。
《史记》记述了从我国古代传说中的黄帝开始直到汉武帝太初年间的历史。全书有五十多万字，分十二本纪、十表、八书、三十世家和七十列传。
司马迁在《史记》中对历史的记述，既翔实、细致、严格忠于历史，又爱憎分明，有自己鲜明的观点。它不但在史学上，而且在文学上都具有重大价值。