金宣宗贞祐二年（1214年），为了逃避蒙古南下的威胁，金国把首都迁往南京（今开封）。耶律楚材的全家也随同南下，只有他本人被燕京留守完颜承晖留了下来，被任命为左右司员外郎。名义上的职务是分掌尚书省所属六部的日常章奏，实际上只不过是一种寄禄官，并无实际职掌，还是白拿钱吃闲饭，不干事。不久，蒙古兵围困燕京，形势越来越严峻。耶律楚材被困城中，绝粮六十余日。蒙古太祖十年（1215年）五月，城被攻陷。从此，耶律楚材便与金政权和家人失去了联系。
耶律楚材眼看金朝的大势已去，国破家亡，前途渺茫得很，便“将功名之心束之高阁，”拜万松老人（行秀）为师，学习佛理。他杜绝人迹，屏斥家务，专心一意参禅。虽遇大寒大热，也从不间断，焚膏继晷，废寝忘食。没日没夜地修炼了三年，终于参透了禅理，接受万松老人授予的显诀，成了燕京城中著名的佛教信徒。不过，遁世脱俗并不是他的最高理想，致主泽民才是他的根本志向。他认为，“穷理尽性，莫尚佛法；济世安民，无如儒教。”简单的说，就是艰难的时世，磨炼了耶律楚材。他经过自己的刻苦学习，不仅树立了经邦治国的雄心壮志，而且作好了两种准备：“否，则以简易之道治一心；达，则以仁义之道治四海。”他，在等待着时局的发展，等待着机会。
投身蒙古
蒙古太祖十三年（1218年），成吉思汗在南征北战过程中，逐渐感到人才的重要。为了征服战争的继续进行和扩大，他需要各种人才。这时，他打听到在他统治下的燕京城中，有个博学多艺的耶律楚材，便派专使前来礼聘。耶律楚材陷在燕京城中已经三年了，过着隐居式的生活，除了礼佛参禅而外，无事可干。这时得知有雄才大略的成吉思汗要召见他，感到是一个图谋进取的好机会，不应轻易放过，便立即应召，跟随来使欣然上道了。后来，他有一首诗讲到这件事，“圣主得中原，明诏求王佐。胡然北海游，不得南阳卧。”心情是很愉快的。
当时，成吉思汗正在准备西征，其行在远在克鲁伦河的上游与臣赫尔河合流之处，今属蒙古人民共和国的肯特省。耶律楚材于3月16日从燕京出发，过居庸（今居庸关），历武川（今河北宣德），出云中（今山西大同），抵天山（今呼和浩特北大青山），穿越浩瀚的大沙漠，于6月20日左右到达行在。耶律楚材看见这里车帐如云，将士如雨，马牛被野，兵甲赫天，烟火相望，连营万里，真是一个千古少有的盛大场面，心中非常高兴。成吉思汗得知耶律楚材到了，马上召见，看到这位身材修长、胡须长得很漂亮、声音宏响的伟丈夫，说道：“辽金世仇，我为你报了仇。”耶律楚材答道：“那是很早以前的事了。从我的祖父开始已经入侍金朝，既然做了臣下，怎敢与君为仇呢？”这几句话讲得非常得体，成吉思汗听了很满意，认为这个人值得信任，便让他做自己的亲随，不离左右。耶律楚材很快便以其渊博的学识，受到成吉思汗的宠信。成吉思汗待他很亲切，经常不叫他的名字，而称为“吾图撒合里”，蒙古语就是“长胡子”的意思。耶律楚材终于在风云变幻的年代里，找到了一个可以施展才干的机会。
然而，一个新来归顺的儒生，想在以武力取天下的军事贵族中取得充分的信任和巩固的地位，是很不容易的。有个名叫常八斤的人，因为善造弓，受到成吉思汗的重用，因而非常骄矜，有一次竟然当着耶律楚材的面对成吉思汗说：“现在正是用武的时候，耶律楚材是个儒生，对打仗的事一窍不通，有什么用处？”耶律楚材听了并不生气，从容答道：“治弓尚且须用治弓匠，难道治天下就不须用治天下匠吗？”成吉思汗听了觉得有理，对耶律楚材更加亲信重用了。
从蒙古太祖十四年到二十年（1219年~1225年），成吉思汗进行了著名的西征。这次西征，主要是对中亚的花剌子模用兵。在整个战争过程中，耶律楚材一直跟随在成吉思汗的身边。这一时期，耶律楚材的主要工作和贡献，有以下几点：
一是担任成吉思汗的必阉赤，掌管文书。当时，蒙古立国未久，诸事草创，各种规章制度正在逐步建立。战争仍在激烈进行，来往文书甚多，由于民族复杂，文书大约有蒙文、汉文、波斯文三个系统。蒙文由怯烈哥主管，波斯文由镇海主管，汉文即由耶律楚材主管。由于当时蒙古贵族多不识字，因而必阉赤的作用不应低估。他们常常可以利用方便的条件，按照自己的私意处理问题，具有一定的权势。当时不少中原地区的官僚地主都慕名而来，通过耶律楚材向成吉思汗钻营。耶律楚材是一个有高度封建文化修养的儒生，为人正直，把“行道泽民”作为自己的“素志”；虽然他自称“备员翰墨，军国之事，非所预议”，但必要时向成吉思汗提醒什么事该做，什么事不该做，还是非常方便的，他肯定会利用这个职务做一些有益的工作。
二是在塔剌思城屯田。这个地方是古代中亚的名城，位于塔剌思河畔，为中西交通的要道。蒙古军攻占此城后，即以此为基地继续西进，陆续攻占了讹打剌城（阿里斯河注入锡尔河处附近）、蒲华城（布哈拉），最后攻占了花剌子模的首都寻思干（撒马尔罕）。寻思干在西辽时称为河中府，当地土地肥饶，经济繁荣，多豪民。蒙古军入城之后，俘虏了3万名工匠，送往蒙古分赏诸将为奴。同时，又迁徙了四百多名豪民子弟到塔剌思城屯田。这是一个削弱新征服地区反抗力量的措施，对恢复发展后方的社会经济也有好处。耶律楚材奉命主持这一工作，大概这是他的主意。这对蒙古军事贵族只知道打仗，掠夺财富，转变到恢复发展社会经济，是很有意义的。
三是在司天台担任春官，用他的方技之术，为成吉思汗服务。当时整个社会的科学文化水平很低，对天文、历法、星象知识了解得很少，包括成吉思汗在内的许多蒙古贵族都还非常迷信，每遇将兵出征的时候，都要耶律楚材预卜吉凶，借以增强将士的斗志，坚定胜利的信心。例如，蒙古太祖十四年（1219年）夏六月，成吉思汗决定出兵征讨回回国，祭旗那天，忽然雨雪三尺。有人怀疑用兵是否有利，耶律楚材便说：“隆冬之气，见于盛夏，是克敌取胜的好兆头。”第二年的冬天，忽然打雷，有人问这又是什么兆头呢。耶律楚材回答说：“回回国主快死了。”蒙古太祖十七年（1222年）的八月，天空的西方出现了一颗长长的彗星，耶律楚材说：“金宣宗快死了。”这些预测虽然“后皆验之”，但显然是“猜”准了，并无科学的根据。另有一些事情，则表明耶律楚材确实具有相当高的科学水平。蒙古太祖十五年（1220年），西域的历官说五月十五日夜将有月蚀，耶律楚材说不会有，结果没有发生。次年十月，耶律楚材说将有月蚀，西域人说不会有，结果却发生了。两次都证明耶律楚材说对了，也证明了西域的历法有问题。于是，耶律楚材将旧的历书细加修订，著成《庚午元历》，上奏颁行。从此东西数万里，天象不差，对军事、生产和生活都有好处。耶律楚材的这一贡献当然是应予肯定的。
像耶律楚材这样的人才，在当时是不多的。他在西征中的表现也很不错，因此成吉思汗对他印象很好。有一次他指着耶律楚材对窝阔台说：“此人，天赐我也。尔后军国庶政，可以全都委托给他。”由此可见，耶律楚材用自己的知识为蒙古统治者服务，已经获得了很高的评价，取得了充分的信任。
但是，在整个西征过程中，成吉思汗进行战争的主要目的，仍然在于掠夺财富，他所需要耶律楚材为他服务的东西，只不过是一些舞文弄墨、医法星象的方技之术而已。因此，在成吉思汗的眼中，耶律楚材的这点本领，比起两军对垒斩将攀旗的武功来说，分量终究要轻得多。同时，戎马倥偬的时代，遐荒异域的环境，也使得他这个只懂得中原文化、意欲以儒治国的书生，一时难以施展自己的才华。英雄无用武之地的冷落感，在耶律楚材的思想深处，还有较多的存在，并且不时在自己的诗文中流露出来：“西征万里扈銮舆，高阁文章束石渠。”本想投笔从戎做出一番事业，但现实的生活并不如预想的那么容易，许多美好的愿望都不能实现，“醉里莫知身似蝶，梦中不觉我为鱼。”“十年潦倒功何在，三径荒凉翠已寒。”很显然，他对万里西征，未能发挥更大的作用，做出更大的贡献，是很不满意的。
出谋划策
蒙古太祖二十二年（1227年）的冬天，耶律楚材在经过长达十年之久的西征之后，又回到了燕京。“天涯流落从西征”、“十年沦落困边城”、“赢得飘萧双鬓雪”、“今日龙种返帝京”。既有无限的感慨，也有未来的期望。“再行不惮风沙恶”，“尚期晚节回天意”，还是想在未来的岁月里，做一番事业。
这一年的七月，成吉思汗病逝。新主未立，暂由其四子拖雷监国。这次，耶律楚材回到燕京，就是奉了拖雷之命，前往搜索经籍的。耶律楚材对图书经籍，素来就很爱好。上一次蒙古军攻下灵武（今属宁夏），诸将争相抢掠子女财币，耶律楚材却只收图书和药材，人们都以为无用，不久，军中流行疾病，耶律楚材所收的药材救活了几万人，人们又惊以为神。大概也因此引起蒙古贵族对图书的重视。燕京是辽金两朝的旧都，图书经籍很多，又是耶律楚材的故乡，派耶律楚材到燕京搜集图书，是很恰当的，这次任务可能完成得很好。
同时，耶律楚材在燕京又发现那里道教的势力极度膨胀，好些佛寺都被改为道观，心里很不愉快。前面说过，耶律楚材原先在燕京时曾经学习过佛理，废寝忘餐，三年不倦，是一个虔诚的佛教信徒，因而对以丘处机为首的道教徒非常不满。他写了一本《西游录》，上半部叙述了他西征的经过，下半部便对道教进行了猛烈的抨击，主要是揭露丘处机的欺骗和不法。当时风传丘处机有长生不老的秘术，已经三百多岁了。成吉思汗知道后很感兴趣，派人把他接往行在，细加询问。当问到他究竟有多大岁数时，他竟然不肯老实回答，伪称不知确数。当问到道教的极理时，故弄玄虚，用“出神入梦”、“提真性遨游异域”等假话骗取信任。他还违背诏旨，广收徒众，滥发符印，自出师号，扩大实力。又骗取军用的牌符，悬牌跃马，横行诸州，招摇撞骗。甚至以权谋私，当成吉思汗准许僧道修善之士皆免赋役后，竟然在执行时只给道人免役，不及其他。特别让人不能容忍的是，他竟然在许多地方折毁夫子庙和佛寺，改为道观。所有这些，耶律楚材认为都是小人之辈鼠窃狗盗的行为，是严重的违法乱纪，应该处以严刑。他最后表示，应该找一个积极的办法，使“三圣人”之道，能够像权衡一样，不偏不倚，平等地共同发展。用佛教的“产因果之诫化其心”，用道教的“慈俭自然之道化其迹”，用儒家的“君君臣臣父父子子之名教化其身”，太平之世就指日可待了。这当然只是耶律楚材追求的理想，在现实生活中是很难做到的。他反对道教的努力，没有收到显著的效果。
耶律楚材在燕京做的另一件事，则是比较现实、而且效果很好的。当时，蒙古最高统治者忙于东征西讨，来不及制订必要的规章制度，因此派往各州郡的长吏，便生杀任情，掳人妻女，掠取货财，兼并田地，无所不为。其中，燕京留后长官石抹咸得卜尤为贪暴，杀人如麻，市场挂满了示众的人头。耶律楚材了解到这个情况后，不觉凄然泣泪，立即入奏，发出禁令。于是，各州郡如果没有奉到盖有皇帝玉玺的文书，不得擅自向人民征发，囚犯需判死刑必须上报；违背这项命令的，其罪当死，决不轻贷。于是各地贪暴之风稍有收敛。
当时，燕京城中社会秩序也很不好。每天傍晚，尚未天黑，就有一些盗贼驾着牛车闯入富家，搬取财物。如果反抗不与，则杀人劫货而去，谁也不敢阻拦追究。看来这些盗贼决非一般普通人物，处理起来可能很棘手。拖雷特派中使塔察儿偕同耶律楚材前往穷治。耶律楚材经过仔细察询，了解到这些盗贼的姓名，原来都是留后的亲属和势家子弟。耶律楚材毫不手软，将他们一网打尽，投入监狱。这些人的家属贿赂中使，准备从轻发落。耶律楚材知道后，晓以利害祸福，中使害怕了，只得听耶律楚材的意见，依法处理。最后结案，将十六个罪大恶极的首犯，绑赴刑场，斩首示众。从此以后，巨盗绝迹，燕民始安，社会效果很好。
耶律楚材回到燕京处理的这几件事，都取得了很好的效果，获得了人们的好评。这表明他确实是很有才干的，因而蒙古最高统治集团，更加增强了对他的信任。
社稷重臣
蒙古族是草原游牧民族，正处于氏族社会向阶级社会转化的发展时期。成吉思汗建立的大蒙古国，万事草创，各种制度虽然初具规模，但是极不完善，在许多方面还很落后。随着征服战争的胜利，统治地区的扩大，原来的某些制度和做法，很难适应“汉化”地区高度发达的封建社会的需要。一场涉及政治、经济、文化等各方面的改革，势在必行。窝阔台汗是比较开明的，决心采用“汉法”。耶律楚材便成了他重要的参谋和助手，在进行政治改革的过程中，提出了许多有益的建议。窝阔台汗对此言听计从，制订出一系列重要的政策和制度，其中最主要的是：