司马迁一心只想着要将自己的全部精力和智慧，投入到这个职位中去。之所以这样，更重要的原因在于太史令这个职位的本身。前面说过太史令的一项重要职责是整理古代文献古籍，司马迁当了太史令以后，得以进入石室金匮（国家藏书的地方）阅读、整理各种历史文献，这对于他来说是再好不过了。原来收集的历史资料毕竟是零散、不完整的，缺少一个整体的轮廓，就像一个人的躯体缺少骨骼和经脉一样，各部分之间缺乏应有的联系，因此司马迁早就向往着有朝一日能参阅历朝历代的文书古籍，国家藏书处中极为丰富的藏书，无疑让他如鱼得水，从此他尽情畅游于这些古籍之中，几乎忘了一切身外之事。
更要命的是，他还得经常陪汉武帝去四处巡游、祭祀，作为西汉时的太史令，这也是他的本职工作。但这又何尝不是一次考察名山名川、丰富史料的机会？司马迁对此倒感到了几许欣慰，这样一边整理古书，一边出来印证古书上的记述。司马迁有些安心了。
就这样，在随汉武帝出巡的时候，他更加重视搜集地方上的历史资料，考察民间传说和山川地理。平时在朝中，夜以继日地在皇家图书馆里，用心阅读以前所接触不到的朝廷档案。回到家中，继续研读父亲遗留给他的资料。
从父亲整理过的历史资料里，司马迁发现父亲对星历的研究非常透彻，认为当时所使用的历法和天体运行无法配合，由于司马迁在这方面的知识比较缺乏，他花了三四年的工夫，才把有关星历的知识弄清楚。
司马迁用自己掌握的星历知识，和当时的一些星历专家一起进行探讨。他们得出的结论是，当时所使用的历法是不科学的。他们达成了一致的看法，决定向武帝建议，更改历法。
身为太史令，司马迁是脱不开俗务的，他得向汉武帝禀报书籍整理的进度，他得抽时间记录朝廷内外发生的大事，他得掌管阴阳吉凶的占卜，他得负责天文星象的观测，六百石的俸禄不是好拿的啊！论著历史是他的理想，也是父亲的遗愿，可是阴阳占卜、星象观测之类的事也是他的必要工作，为此，他常常不得不忍痛放下心爱的古书，去做一些别的事情。
就拿司马迁受命陪同汉汉武帝巡游全国各地的事情来说吧，其中有两次的时间是相当长的，这耗费了他差不多两年的时间。一次是在元封四年（公元前107年），司马迁扈从北巡。这一年的冬十月，他随汉汉武帝在雍祭了五帝之后，沿着中道，北出萧关（在今宁夏固原县东南），一路到了独鹿山（今河北涿县西）、鸣泽（今河北涿县西）、自代（今河北蔚县西南）等地后返回。还有一次是元封五年冬（公元前106年），司马迁扈从南巡。这一次他们先到了盛唐（在今庐江），又去九嶷山祭过了虞舜，然后登上天柱山，在山上留连了一番之后，从寻阳（今湖北黄梅县西南）沿水路到了枞阳（今安徽桐城县东南），一路帆樯林立，船舻相接，繁华之中透出几许威严，让沿途的地方官员诚惶诚恐，百姓也是纷纷驻足观望。
然而，这两次随帝巡游，涉足广泛，对他丰富史料，熟悉各地地理环境、风土人情，也是很有帮助的。
三、制定新历法
整理古书的工作就在断断续续中持续着，渐渐地，各方面的古籍都理出了个眉目，司马迁正待进一步进行钻研，又有一项重大的任务落到了他头上——修改历法。
历法，是推算年、月、日的时间长度和它们之间的关系的，是制定时令序列的法则。一般地说，月、日的长短依天象来定；年的月数和日数，有依天象来定的，也有人为规定的。
司马迁他们制定的新历法，依据天象定月、日，以正月为一年的开始，以建寅之月为正月，即夏正。它选用邓平的八十一分法定出一月之日数，沿用十九年七闰法，使历法与四季相适应，更方便地配合了农业生产。它被称为阴历，即夏历。
原来，西汉自建立以来，一直沿用的是秦朝时候的《颛顼历》，这部历法中的有些内容很不科学，也很不准确，而且也不符合西汉的实际情况。
自战国以来，就流行着齐人邹衍最先倡导的“五德终始”说。这种学说认为，王朝的盛衰是按木、火、土、金、水这五行生克的顺序进行的，这五种物质也叫“五德”，谁要得了其中一德，就是真命天子，就具有了无上的尊威。五德中木生火，火生土，土生金，金生水，水生木，是紧密联系的，也可以说是一个统一体。同时又有水胜火、火胜金、金胜木、木胜土、土胜水，这五德之间又是对立的，可以说各不相融。邹衍就以此来解释王朝更替和时事的变迁。
汉朝建立之后，“汉承秦制”，并没有做多大的改动。汉高祖刘邦自认为跟秦始皇一样，因而制度也毋需大的改革，加之汉朝初立，许多事情需要处理，汉初基本上就承袭了秦朝的历法制度。
汉文帝即位不久，太中大夫贾谊就提出改历的建议，却没有受到重视，后来汉文帝让鲁人公孙臣制订改历的计划，但直到他驾崩，改历仍然没有被提上日程。
汉汉武帝即位后政务繁忙，无暇谈及修改历法的事，直到北疆平定、中央集权统治巩固、国内太平之后，他才想起这件事来，尤其泰山封禅大典之后，他更觉得历法是很有必要修改的了，但究竟什么时候改、怎样改，却是有点犹豫的。
现在到了汉汉武帝统领天下、局势大定的时候，修改历法被重新提上了日程。自元封七年（公元前104年），司马迁和太中大夫公孙卿、壶遂等人上书提议修改历法后，改历工作就逐渐进入了实施阶段。
司马迁受命主持改历工作。历法的改定，是国家政治生活中的一件大事，司马迁对此十分谨慎，除了汉汉武帝指定的公孙卿、壶遂、侍郎尊、大典星射姓等人外，司马迁还邀请了许多在这方面造诣很深的学士专家，甚至连民间的隐士高人也统统被请到了皇宫，参与这一举足轻重的改历工作。这里很值得一提的是唐都，司马迁的父亲司马谈曾经向他请教过观测天文星象的观测方法，论辈份，司马迁该叫他“师祖”了，资历自然是十分老成。
几十位专家经过精密推算，在不到一年的时间里，就制定出了新历，即历史上有名的《太初历》。《汉书》中对此历大为称道，说它“晦朔弦望皆最密，日月如合璧，五星如连珠”。其科学、精密程度，自然是远远胜过那《颛顼历》的了。《太初历》将一年的开始定在正月，并一改旧历中以冬至月（今阴历十一月）为正月的传统，将正月定在建寅之月，即现在的阴历元月，称之为“夏正”。直到今天，阴历还叫做“夏历”。这种夏正制，贯通了二十四节气，并以没有中气的月份为闰月，对于农业生产来说，这是十分有利的，因而受到广大农民的欢迎。
汉汉武帝在看了《太初历》之后，感到很高兴，他下诏将元封七年（公元前104年）改为太初元年，并按照当年贾谊、公孙臣等人的建议，下令改制：颜色以黄为贵，数字以五为吉，定官名，协音律。自此，汉朝建立一百多年来，终于完成了改制。
《太初历》对后世影响是很深远的，它是我国古代历法变革的一项重大成果，为后来历法的发展，打下了良好的基础。其以阴历元月为一年开始的做法，其对晦朔弦望的准确订正，直到现在，还被人们采用，可以说，它对中国人的时间观念产生了几千年的影响。
《太初历》的颁布实施，宣示了制定新历法取得了巨大的成功。作为这项工作的主持者，司马迁承担了《太初历》的很大一部分工作，如采用夏正制的做法，就是他首先提出来的。这也说明司马迁在天文方面的修养造诣丝毫不逊于其他专家。他之所以能取得如此重大的成就，与他自小受到父亲言传身教、此后又刻苦钻研星历知识是分不开的。
而实际上，对自己为之付出了无数汗水和心血的新历法，司马迁并不觉得十分如意，甚至在后来的《史记》中，对这《太初历》也提及得很少。在他看来，《太初历》还是有许多缺陷的，比如汉汉武帝采用了邓平等人的建议，以音律起历，将本来与历法风马牛不相及的音律牵强附会于《太初历》，为之蒙上了一层神秘色彩。
因而，作为《太初历》的主要制订者，司马迁在当时对这部历法并不是十分推崇。
但是从总体上来看，《太初历》仍不失为一部好历法。作为此历的主要制订者，司马迁的功劳也是非常巨大的。