早在司马迁撰写《史记》时，汉武帝翻阅《孝景本纪第十一》和《今上本纪第十二》后，认为司马迁的叙述有意贬损自己，不禁勃然大怒，命人削去了书简上的字，并把这些书简扔掉了，可见当时汉武帝对司马迁已经甚为不满（《三国志．魏书．王肃传》）。
汉武帝天汉二年（公元前99年），名将“飞将军”李广的孙子李陵主动请缨出击匈奴，兵败被俘，汉武帝震怒。满朝文武都认为李陵叛降，全家当诛。而在这时，身为太史令的司马迁却为李陵辩护。他认为李陵兵败投降是因为“矢尽道穷，救兵不至”（《汉书·司马迁传·<报任安书>》），而且李陵是希望“欲得其当而报汉”（《汉书·司马迁传·<报任安书>》）。李陵虽然兵败，但是他以少胜多，以弱胜强，“其所摧败，功亦足以暴于天下”（《汉书·司马迁传·<报任安书>》）。
司马迁这番表述却没有得到汉武帝的理解，汉武帝认为他是藉李陵之功，诋毁这场战争的主帅李广利（此人为汉武帝宠姬李夫人的哥哥），进而批评自己用人不当，造成军事失利，再加上司马迁在撰写史记时，内容有意贬损汉武帝的心结，在大怒下将司马迁投入牢狱，以“诬罔”（欺骗皇帝）的罪名判处死刑。当时的死刑有两种方式可以充抵，第一种是“令死罪入赎钱五十万减死一等”（《汉书·武帝纪》）。另一种是按照汉景帝时期所颁布的法律“死罪欲腐者，许之”（《汉书·景帝纪》），处以腐刑（阉割）。由于没有足够的金钱可以赎身，司马迁只得接受腐刑。对此他曾表示过“祸莫憯于欲利，悲莫痛于伤心，行莫丑于辱先，而诟莫大于宫刑。刑余之人无所比数非一世也”
出狱后，司马迁改任中书令，发愤撰写史书，亦欲“究天人之际，通古今之变，成一家之言”，完成了中国第一部纪传体通史——《史记》。《史记》最初为各国史书的通称，司马迁的著述也正是参考战国时期各国史记所作。在司马迁的原著序中，将本书称为《太史公》。后世称《太史公》为《史记》后，《史记》才成为本书之专称。司马迁完成《史记》后，知道该书不被当世所容，故预先将正本存之名山，将副本置于京师，以期流传后世。
