就在卜式被贬官那年，汉武帝东巡渤海，顺路登上泰山，举行祭拜天地的隆重仪式，祈求国家太平，这叫做封禅大典。太史令司马谈本来被安排跟随汉武帝左右，参加这一盛大活动。可是非常不巧的是，他在赶往泰山的路上病倒了，没能参加封禅大典。
司马谈作为太史令，专门负责记录朝廷发生的重大事件，错过了见证这一重大事件，他的心情极其沮丧，不久病情加重。
临死前，司马谈对儿子司马迁说："我死后，你会继承我的太史令职位，我未能参加封禅大典，这个遗憾已经无法弥补，但我还有一件非常重要的事情没有完成，就是想要写一本博古通今的史书，流传后世，希望你能替我完成。"
司马迁低下头，流着泪说："我虽然不聪明，但是竭力实现您的愿望，不敢有丝毫的怠慢。"
司马迁从小就勤奋好学，阅读了大量的书籍，还经常向父亲请教问题。在父亲的鼓励下，他从二十岁开始，去了全国很多地方游历。他到过浙江会稽，看到了传说中大禹召集部落首领开会的地方；他到过曲阜，考察了孔子讲学的遗址；他还到过汉高祖的故乡，听取沛县父老讲述刘邦起兵的故事……
司马迁从自己丰富的游历中，获得了大量的历史知识，他又从民间语言中汲取了丰富的养料，注重文字的通俗易懂，这些让司马迁写好史书提供了良好的条件。
司马迁接任太史令后，立即着手撰写史书。就在这个时候，灾难降临到了他的头上。
这一年夏天，汉武帝派贰师将军李广利带兵三万，攻打匈奴。李广利是汉武帝宠妃的哥哥。汉武帝为了让宠妃高兴，想要制造一个机会，让李广利在战场上立功，然后名正言顺地给他加官进爵。
汉武帝派出名将李陵，带着五千名步兵打前锋，以吸引匈奴大军，为李广利进攻剩下的小部分匈奴提供有利条件。想不到这一计策被匈奴识破，匈奴单于先派人阻击李广利军队，使他无法与李陵会合，然后把李陵的步兵团团围住。
尽管李陵带领士兵们奋勇抵抗，但是匈奴兵人数众多，汉军寡不敌众，后面又没救兵，最后只有四百多汉兵突围出来。李陵被匈奴逮住，无奈之下只好投降。
李陵投降的消息震动了大汉朝廷。汉武帝把李陵全家都关进了监狱，并且召集大臣，要他们议一议李陵的罪行。大臣们纷纷谴责李陵贪生怕死，竟然向匈奴投降，让大汉王朝蒙羞，罪不可赦。汉武帝问司马迁，想听听他的意见。
司马迁说："李陵带去的步兵不满五千，他深入到敌人的腹地，打击了几万敌人。他虽然打了败仗，可是杀了这么多的敌人，也可以向天下人交代了。李陵不肯马上去死，准有他的主意。他可能想要逮个机会，立功赎罪来报答皇上。"
汉武帝听了大怒，认为司马迁是在积极为李陵辩护，有意贬低李广利，气愤地说："你这样替投降敌人的人强辩，不是存心反对朝廷吗？"他吆喝一声，下令把司马迁关进监狱，交给廷尉审问。
审问下来，把司马迁定了罪，应该受宫刑。司马迁拿不出足够的钱赎罪，只好接受刑罚。受刑后，司马迁感到奇耻大辱，多次想到自杀。
一些朋友前来看望慰问，他对朋友说："一个人活在世上，做的最大错事，莫过于侮辱了自己的祖宗；最大的耻辱，莫过于接受宫刑。我回到家后，整天精神恍惚，就像一具行尸走肉，一想起接受宫刑的痛苦，背上的冷汗马上就渗出来，把衣服全部都浸湿。这个耻辱将终身相伴，没有任何办法逃避。"
就这样，司马迁在悲痛绝望中熬过了一段时间，他为了让自己重新振作起来，经常以历史上的名人事例来鼓舞自己。
周文王被关在羑里，却利用这段时间，写了一部《周易》；孔子周游列国，处处碰壁，后来编了一部《春秋》；屈原遭到放逐，写了《离骚》；左丘明眼睛被弄瞎，仍然完成了《国语》；孙膑被剜掉膝盖骨，却有《兵法》流传后世。
这些人都是在困境中写出了伟大的作品，我为什么不能把史书写完呢？在这一信念的支撑下，司马迁每天发愤写书，经过十几年的时间，终于写成《史记》。
这本书共有一百三十多篇，五十二万字，从传说中的黄帝时代开始写起，一直写到汉武帝统治时期。它保存了很多真实的历史，还写得生动活泼，通俗易懂。因此，《史记》既是一部伟大的历史著作，又是一部杰出的文学作品。司马迁也成为了中国历史上杰出的历史学家。