万历二十五年（1597年）对于徐光启来说是幸运的一年，这一年他得到主考官焦竑的赏识，夺得了乡试第一名——解元。尽管第二年春天的会试失利了，徐光启还是开心地返回了故乡上海县，接受亲朋好友的祝贺。他在家中住了一年多，正忙于安排家计，忽然听到了恩师焦竑辞官的消息，大为惊诧。原来焦竑不但是个思想先进、爱才惜才的“伯乐”，还是一名为人耿直、嫉恶如仇的官员。他遇到不平之事就直言不讳，得罪了执政的大臣，在朝廷上受到了排挤。对朝政失望之余，焦竑辞去官职，回到南京老家过起了隐居生活。徐光启闻听此事，立刻安排好家里的事，于万历二十八年（1600年）春天前往南京看望焦竑。
南京是当时明朝的陪都，许多知名学者和文人都聚集在这里进行讲学，学术思想很活跃。于是天主教传教士利玛窦也在南京开展传教活动，并与焦竑结为了朋友。看到远道而来的徐光启，焦竑十分高兴，与他畅谈南京的风土人情、人文胜迹，不免也聊到了传教士利玛窦。焦竑送给徐光启一份世界地图作为见面礼物，令徐光启爱不释手。
徐光启得到的这张世界地图，最初称为《山海舆地图》，又称为《舆地山海全图》，是利玛窦于万历十二年（1584年）绘制的，是中国最早引进的新型世界地图。万历二十八年（1600年）应南京官员之请，利玛窦重新修订了这幅地图，并把它翻刻出来，在南京士人中流传。
这幅地图是以意大利米兰安布洛兹图书馆所藏世界地图为底本绘制的。地图上面明确标示出地球是圆的，图中绘有经纬度、赤道、五带，并正式介绍了五大洲的轮廓。地名都翻译成了汉语，还酌量附加了有关地理、物产等方面的说明。这张地图给当时的中国人一个全新的观念：地球是球形的，悬在空中，上下都有人居住；中国处于一块大陆之上，中国之外还有许多土地和许多国家。当时距哥伦布发现新大陆已有八十余年，周游地球的人已为数不少。而包括徐光启在内的绝大多数中国人仍遵循传统，认为整个世界是“天圆地方”的，明朝在世界中央，是唯一的“天朝大国”。利玛窦的这张世界地图，让中国许多思想开明的知识分子开始睁开眼睛，注目世界。
徐光启看到这幅地图，顿感耳目一新，眼界大开，对五大洲的分布，对世界各国的疆域有了较为清楚的了解，从而激发了他了解西方、寻找科学真理的愿望。再加上他在广东韶州教书时已听说过利玛窦，便决心趁这次来到南京的机会，上门拜访这位外国传教士。结果两人一见如故。利玛窦室内琳琅满目的摆设、各种奇形怪状的科学仪器深深吸引了徐光启。两个人从天文到地理，从日食、月食到经纬度，从数学到绘图学，谈得十分投机，利玛窦还时不时穿插讲一些天主教的教义。虽然徐光启这时还没有下决心入教，但已深深地被这位年长他十岁的传教士吸引住了，成为他日后回乡时仍念念不忘的记忆。
三年后，徐光启又一次到南京专程拜访利玛窦，可不巧的是，利玛窦已上北京了，另一位传教士罗如望热情地接待了徐光启。罗如望认真而又虔诚地向徐光启解说了天主教的教义，并送给他两本利玛窦写的书：《天主实义》和《天主十诫》。在这两本书中，利玛窦从中国古代典籍中找到一些关于“上帝”的记载，并“证明”此“上帝”与“天主”是同义词，以此来更有效地劝说中国的读书人入教。徐光启读完这两本书后，表示愿意加入天主教。罗如望便为他行了洗礼，让他成为正式的天主教徒，取教名为“保禄”。这样，徐光启与传教士的关系更加密切了，他吸收西方先进科学思想的方便之门也打开了。
万历三十二年（1604年）徐光启来到北京参加会试，考上了进士，又通过几次分配性的考试，进入翰林院做了庶吉士。要知道，翰林院在当时可是培养高级官员的地方。除了考取进士的前三名——状元、榜眼、探花可以直接进入翰林院做官外，其他进士还得通过考试，成绩优异的才能入翰林院，称为“庶吉士”，类似于现在的研究生。他们还需要在翰林院读三年书，定期做文章。三年学成，经过考试，成绩优良的便可分配到重要的官职，前途不可限量。
进入翰林院的徐光启，生活和学习条件得到了大大的改善，不必为养家糊口而东奔西走。他把自己旺盛的精力投入到学习中，学那些“治国平天下”的学问，学那些富国强兵的经世致用之学。同时，思想敏锐的徐光启，决定利用利玛窦也在北京的机会，向他请教西方的科学技术。
徐光启在翰林院攻读之余，常常徒步到利玛窦的住处去，向他请教西方科学，求学态度十分真诚。后来，徐光启索性在教堂边租了一间房子住，以便于向利玛窦请教。他在翰林院当庶吉士这三年，几乎天天与利玛窦见面讨论学问。除了天主教教义，二人谈得最多的便是西方的科学技术发展情况。徐光启向利玛窦学习的范围很广，西洋的天文、历法、数学、火器，甚至西方逻辑学等，只要是利玛窦能教的，他都有兴趣学习。徐光启把利玛窦的学问归纳为两大类，大的是“修身事天”，即关于天主教教义的知识；小的是“格物穷理”，实际上是指自然科学知识，徐光启称之为“小学”，从后者又派生出数学。徐光启自称竭尽全力“传其小者”，可见他的主要兴趣，仍是在西方的自然科学。
在与利玛窦交谈的过程中，徐光启认识到了数学在众多学问中的重要作用。他认为，有了数学做根基，别的科学研究都会触类旁通。他打了个比方：“数学好比工人盖房子时用的斧头和尺子，而天文、历法等其他科学知识犹如盖房子时用的其他器具，倘若连斧子、尺子都还没有，其他器具的使用，便无从谈起了。”所以，徐光启主张先翻译西方的一本基础性的数学读本，几经考虑，他最终选择了《几何原本》，并认为：“此书未译，则他书俱不可得论。”
为什么会选择这本书呢？原来《几何原本》是古希腊的一部数学教科书，公元前三百年前后由古希腊数学家欧几里得著成。这本书逻辑推理性强，结构科学严谨，集几何学的大成，是对古希腊数学的总结和升华，在西方被认为是用数学书写形式和思维训练的经典著作。作为欧洲中世纪一本最流行的数学名著，《几何原本》曾被译为阿拉伯文、拉丁文等各种文字译本，是世界上除了《圣经》之外被翻译得最多的一种著作。利玛窦在罗马神学院的老师、德国数学家克拉维曾将拉丁文本加以注释说明，题为《欧几里得原本》。利玛窦带到北京来的，就是这本。
利玛窦初到中国之时，就有过要翻译《几何原本》的念头，但碍于困难，数次动笔又数次停笔，深知其中的甘苦。当徐光启提出要翻译此书时，利玛窦详细叙述了翻译的实际困难和自己的几次失败经过。他告诉徐光启：中国和西方语法不同，词汇不同，首次翻译拉丁文的数学书，许多专用名词在汉语中都没有现成的，无成规可循。利玛窦认为自己的汉语底子虽然不错，照着原本宣讲，还勉强可以讲明白，但要逐字逐句地翻译，就非常晦涩，让人很难理解了。
面对犹豫不决的利玛窦，徐光启信心十足地说：“我们的祖先有一句名言：‘一物不知，儒者之耻’。既然我知道世界上有这本书，又遇到你这位老师可以随时请教，怎么能知难而退，让这本书在我辈手中失传呢？”他还豪迈地表示，“如果害怕困难，困难就会越来越大；迎着困难而上，困难反而会越来越小，只要不怕困难，这本书一定可以翻译成功。”在徐光启的再三请求下，利玛窦终于同意合作翻译《几何原本》了。
万历三十四年（1606年）秋，二人正式合作译书。徐光启每天下午三四点钟完成翰林院的功课之后，就会赶到利玛窦那里，风雨无阻。利玛窦一句句地讲解着书上的内容，有时，他还要停顿下来，皱着眉头，为寻找合适的说法而对书沉思。徐光启则一句句地记录，遇到不明白的地方，还要虚心地询问。北京秋冬的夜晚，又长又冷，但二人的室内常常出现热烈讨论的场面。许多数学上的专用名词，如直角、锐角、钝角等，在汉语中原本是没有的，经过两个人多次推敲，才确定下来。许多章节，两个人都反复重译，力求文字准确妥帖，通俗易懂。直到夜深了，徐光启才冒着凛冽的寒风，带着译稿回家，此时的街上已万籁俱寂。回到自己的寓所之后，徐光启还要再把当天的译稿加以整理、修改、润色，不知不觉已工作到半夜。
时光流逝，转眼间已到第二年的春天，徐光启与利玛窦合作译完了《几何原本》的前六卷。初稿译出后，徐光启不顾劳累，又修改了两遍。这样，从万历三十四年（1606年）到万历三十五年（1607年），经过近一年的努力，三易其稿，徐光启终于用明快流畅的文字完成了翻译前六卷的工作。按照徐光启的想法，还要与利玛窦合作译完全书。但利玛窦忙于传教，抽不出时间，他建议把译好的前六卷先刻印出来，听听各方面读后的反应，再继续翻译也不迟。同时，徐光启也考虑到自己在翰林院任庶吉士的三年期限将满，会面临一次分配官职的重大考试，需要时间精心准备，也就同意了利玛窦的提议。于是，两个人各写了一篇序，刻板付印。利玛窦写的序介绍了欧几里得，对翻译这本书的经过也有所叙述。徐光启写的序，以他渊博的自然科学知识，正确地估计了数学的价值，第一次向中国科学界说明了几何学的本质，并向中国的知识分子大力推荐这本书。
《几何原本》的这份中译本，可以说译得相当成功。我国近代著名学者梁启超曾称赞该书：“字字精金美玉，是千古不朽之作。”拿这本书的题目来说，它的拉丁文译本原称为《欧几里得原本》。欧几里得是人名，但如果直译为《原本》则不像一部数学书的名字。徐光启创造性地加了“几何”一词，成为《几何原本》。几何，是汉语固有的词汇，原来只是一个虚词，徐光启借用它来代指一切度数之学。经徐光启使用后，至今已成为数学上的专用名词。其他如点、线、面、平行线、直角、钝角、锐角、三角形、四边形等等，都由徐光启使用后确定下来。徐光启创造的这一套数学名词、术语，十分切合它们本身的意义，所以很多为后世所采用。
徐光启为翻译《几何原本》所倾注的巨大热情，表现了这个博学的科学家的慧眼。他认为这本书体现出来的逻辑推理的说服力和科学结构的严谨性，能弥补中国古代数学理论的不足。他为此写了《几何原本杂议》，大声疾呼：“能精此书者，无一事不可精；好学此书者，无一事不可学。”他还断言，百年之后，必定人人都要竞相学习，而且一定会后悔学得太迟了。他的话在后代有了应验。清代中叶，当我国知识界掀起向西方科学学习的热潮时，《几何原本》成为新办洋学堂的数学课本。清代数学家李善兰和英国传教士伟烈亚力又合译了该书的后九卷，此书得以完备，其沟通中西文化的重要作用得以更加凸显。
除了合译《几何原本》外，徐光启和利玛窦在数学领域合作的另一成果是《测量法义》一书。顾名思义，这本书是一本用几何方法讲述如何测量事物的高深广远的书。原稿是利玛窦在十多年前编成的，只有一些关于测量方法的说明，不成系统。《几何原本》问世之后，徐光启觉得有必要参考中西方几何学的方法，重新整理这部草稿。于是，徐光启从万历三十五年（1607年）开始着手整理修订这些草稿，大约到了万历三十六年（1608年），《测量法义》成为定稿。这部书最可贵之处，在于徐光启把我国古代数学名著《九章算术》和《周髀算经》中提到的传统数学测量方法，和古希腊数学之祖欧几里得的西方测量方法有机地结合起来，这是中西文化交流的又一项成果。
继《测量法义》之后，徐光启还受《几何原本》的启发，编写了《测量异同》和《勾股义》两部数学著作。在这两本书中，徐光启指出，中国传统的测量法，只说出结论如何如何，而没有说明为什么会有这样的结论，而且崇尚空谈的社会风气已使当时的数学研究大大停滞了。所以徐光启力图用《几何原本》中严密的理论体系，去说明中国传统数学著作中的道理，把中国和西方的数学传统，进行了比较研究。可以说，这是一项很有意义的创造性劳动，这种中西方法融会贯通的研究，使我国的数学研究水平大大提高了。
更为难能可贵的是，徐光启的目光不仅仅停留在书本的理论上，他还富有远见地认为中西汇通的测量方法将是治理农田、开发水利的一项法宝。这个开中国风气之先的说法，果然在若干年后，促进了农业的发展，收到了巨大的经济效益。