范仲淹于是上书进行辩驳。他说，现在河渠已经疏浚，能否流入大海，事实俱在，根本不需争议。随着江潮而来的泥沙问题，在新开浚的河渠中，可以设闸加以控制。还有，疏浚河渠，固然必须耗用民力和粮食，但是与灾害相比是不值一提的。与其坐视良田被淹，造成饥馑，不如投资水利工程，保住良田。何者为是，极为显明。何况，有确实统计数字可以证明，治理的耗费，比不治理而造成的损失要小得多，有何不可为？
他同时严正地指出，这种地方水利之事，应属郡县地方政府的职掌，是刺史、县令的职责。可是当今之世，只要有所兴作，则横议先至，非要闹到由朝廷出面作主不可，这样一来，地方官恐怕再也没有主动作为的意兴了！
之前，范仲淹按计划准备进行河渠疏浚工作时，曾经突然接到调职命令，要调他到明州。眼看他的治水方针就没有用武之地了，所幸当地的转运使上奏范仲淹治水有方，希望能让他留任，以完成治水工程。朝廷才重发人事命令，把他调回苏州。
除了治水外，范仲淹还没有忘记在当地发展教育。他非常清楚国家的忧患，没有比人才的缺失更危险的了。范仲淹在南园买了一块地，准备建房居住。一位风水先生说，这可是块风水宝地，谁得了它，必定世代出公卿。范仲淹说，如果我在这里安了家，只我一家富贵。不如在此建个学校，广招天下学子，那能使多少人受惠啊。于是，他在这建起了一座规模宏大的学舍。这时有人问他，是不是建得太大了，范仲淹却很自信地回答，我怕将来还太小呢。
范仲淹请了两位有名的学者来讲学，一位是胡瑗，一位是孙复。在明末清初黄宗羲所编的《宋元学案》中，他们被列为宋学的开山者。书中赞胡瑗“以圣贤自期许”，“以道德仁义教东南诸生”；孙复“筑居泰山之阳，聚徒著书”，两人皆致力于儒家之学的宣扬。还说到，他们都是范仲淹的门客。
孙复就是当初在应天府受到范仲淹帮助的那个秀才。之后，范仲淹还向朝廷推荐他为国子监直讲。
胡瑗是泰州人，深得范仲淹赏识。后来，朝廷要更定雅乐，诏求懂得音律的人，范仲淹推荐了无功名的胡瑗。胡瑗被授校书郎。胡瑗在苏州讲学达数十年，学生超过千人。庆历年间时兴建大学，中央还特地派人南下考察，参考他的办法，订定太学规则。太学成立后，胡瑗也前往任教。由于教育得法，每次礼部考试录取的人中，胡瑗的弟子总要占近一半的人数。这些弟子们分散到全国各地，是一股不可忽视的力量。
这些饱学之士前来讲学后，一时间盛况空前，影响遍及全国。1044年，宋仁宗下诏全国各州郡都要建立学院，府有府学、州有州学、县有县学。郑元佑在《学门铭》中说：“天下郡县学莫盛于宋，然其始亦由于吴中，盖范文正以宅建学，延胡安定为师，文教自此兴焉。”由此说来，中国古代教育的兴盛，范仲淹也是功不可没的。
范仲淹晚年的时候在苏州还做了一件事。1049年，范仲淹拿出积攒的所有钱财，买了良田千亩，作为族人公产，把这称为义田。又在城中灵芝坊祖宅建造占地200亩，环境优美的义宅，把范氏一族都集聚在内。宅内还设有义学，“立塾以教其人”。他认为：“物本天，人本祖。闾阎之人，有视其祖之子孙如路人，相毁訾，相并兼如仇敌，不知本尔。”
义田所得的租税粮食，供给全族衣食及婚嫁丧葬之用。主要是为了救济族中的穷人，使范氏子孙免遭饥寒之苦。尽管受惠者仅仅局限于范姓族人，但是在中国历史上以个人力量举办这样的社会福利事业，范仲淹是有开创之功的。
在设立这些之前，曾有范家子弟劝范仲淹在洛阳买地置屋，作为养老之所。范仲淹说：“人只要有道义之乐，身体都可当做外物，何况是居住的房屋？我今年已过60，来日无多，还去买地置产，恐怕不一定住得上。我所担心的，是在位高而艰退，不担心退而无居。”他坚持要把自己的积蓄拿出来为宗族做点事。
范仲淹曾对小辈们说：“我们在苏州的族人相当多，和我的关系固然有亲疏之分。若以我们祖宗的立场观之，则都同样是祖宗的子孙，没有什么亲不亲、疏不疏的区分。我对他们中间的饥寒者，怎可不加体恤救济？况且自从我们祖宗积德百余年以来，到我才兴旺起来，做到大官，若独享富贵而不恤宗族，则他日我将以何面目见祖宗于地下？即在今天，我又有什么脸敢踏进家庙一步？”
被诬朋党再次遭贬
1035年3月，范仲淹由知苏州左司谏秘阁校理员外郎，被调为礼部员外郎天章阁待制。至于是什么原因使他由地方调回皇帝身边，并没有记载。只有富弼为他写的墓志铭上说：朝廷知清议属公，就拜礼部员外郎天章阁待制召还。由此推断，可能是因为朝廷受清议的压力所致。
范仲淹回京后，因废后案而产生的宫廷之争，仍然余波未息。废后的次年，宰臣吕夷简等人曾上表请立皇后。因为自从郭后被废之后，尚、杨二美人愈得宠爱，宋仁宗沉于美色，不问政事，朝廷内外大为忧惧。依照章献太后之遗诏所立的杨太后，也屡次劝谏宋仁宗，但不见成效。后来迫于各方舆论，宋仁宗才被迫答应。
宋仁宗诏立宋初开国名将曹彬的孙女曹氏为后，改立皇后案总算完结。虽然有监察御史提出章献太后三年之丧未除，不宜马上册立的意见，但仍在当年，正式册立曹氏为后。
范仲淹回朝后，宋仁宗已经冷静下来，开始反思废郭后的前因后果。他逐渐感到范仲淹等台谏官当年所说“皇后无大过，不当废”，实不无道理，并渐有悔意。这时，被废的郭后居住在瑶华宫，宋仁宗带着歉意，屡次派人慰问。有时还作乐府词赐赠给她，她也和答，语言凄怆。
这时，太监阎文应非常担忧，因为他就是当年和吕夷简等人煽动废后的魁首之一。他担心万一郭后与皇帝又重归于好，或因此恢复地位，他难逃一死。趁着郭后身染小疾，毒死了郭后。
阎文应平日恃势作威，甚至有时矫造圣旨，连执政大臣也不敢违抗他，是个奸佞之人。这次漏洞百出的谋杀，更引起天下人的极度不满。
谏官姚仲孙、高若讷提出弹劾，说“中外莫不疑文应置毒者”，阎文应因而被贬到地方。范仲淹以天章阁待制的身份，列举阎文应的各项罪状，并拟就奏疏。
阎文应飞扬跋扈已久，虽被贬却仍有势力，所以范仲淹呈上奏疏后，他抱着孤注一掷的心情，把家里藏书中凡是有言兵者悉数焚毁，免得万一失败，被指为素怀异志，而遭灭家之祸。他还不吃东西，并嘱咐大儿子说：“我这次上疏，是要扫除君侧小人。若不胜，必定会得罪而死！我既死，你们兄弟从此就不要再做官，我只要你们在我的坟墓旁边，以教书为业，千万要记住。”
结果，范仲淹的奏疏获得皇帝的采信，并作出明确决定，放逐阎文应到岭南。不久，阎文应死于放逐途中。
当时，朝中的实权还在宰相吕夷简手中。范仲淹奉召回朝，他的作风不但一点也没改，反而论事益急，而且劝谏的范围愈来愈广，这使吕夷简一派对范仲淹的炮轰头痛万分。范仲淹为人正直小心，很难落人口实，想整他又不容易。因此，吕夷简只好暗中指使人嘲讽范仲淹，说他身为天章阁待制，是属侍从官，根本没有“口舌之任”，怎可不守本分，做起言官的工作来？范仲淹听到这种责难，他严正地回答：“论时事，正是侍从官的职责，我怎敢不勉力而为？”
吕夷简无奈之下，忽然想到政务繁重而难治理的开封府，于是决定调遣范仲淹前去治理。一方面可以使他无暇他顾；另一方面，等他有一天出了纰漏，可以马上予以罢斥，逐出朝中，正好去掉一个眼中钉。
1035年年底，诏命礼部员外郎天章阁待制范仲淹为吏部员外郎，权知开封府。
范仲淹在吕夷简别有用心的安排下治理开封府。哪知吕夷简的算盘打错了，在范仲淹的治理下，开封府是“处之弥月，京邑肃然称治”，反使他的声望节节上升。京师有歌谣曰：“朝廷无忧有范君，京师无事有希文。”可见，范仲淹在开封府很有政绩，也很得民心。
最令吕夷简坐立难安的是，范仲淹非但没有出什么纰漏，而且把公事化繁为简。吕夷简本想以繁重的公务使范仲淹无暇他顾，他的这个计谋，也无法得逞。范仲淹时时关心朝中之事，常取古今治乱安危之道，劝勉宋仁宗；对于朝廷的施政得失，仍然时时提出批评。
这时，发生了一件关乎宋朝立国安危的事情。之前，燕云十六州被契丹占据，使宋的都城暴露在敌人的铁骑威胁之下。宋之所以要建都开封，是为了漕运之利，漕运是为了将东南财富运到京师来给养大批的军队，而大批军队则是为了守卫京城，免受北方的侵扰。因此当时是“国依兵而立，兵以食为命，食以漕运为本，漕运以河渠为主”。
汉唐时代建都长安、洛阳，依赖天然屏障，而以最少的兵力守卫。但是宋为了迁就兵粮补给的方便，不得不以大量军队驻守在无险可守的开封。这种以人力代替山河之险的作法，宋太祖并不是不知道其危险性及所造成难以负荷的负担。所以在宋建国十六年的时候，就曾经想要迁都洛阳。群臣虽然反对，但却没人敢说话。
铁骑左右厢都指挥使李怀忠找了个机会说：“开封有汴渠水运，每年提供江、淮米数百万斛，京师数十万人均仰给于此。陛下有没有想过居留于洛阳将如何取得这些粮食？而且府库重兵都在开封，根本安固已久，不可动摇。”宋太祖对他的话并没有在意。当时身为晋王的宋太宗又再次进言。
宋太祖对这位弟弟寄望颇高，见他如此切谏，就解释道：“我打算西迁，不为别的，只是想据山河之险而去冗兵，循周、汉故事以安天下。”
晋王说：“在德不在险。”
等晋王告退后，太祖才很无奈地对左右说：“晋王的话固然不错，可是像这样继续建都开封，继续仰赖军队，以大批军力取代山河之险，则不出百年，天下民力恐怕就要消耗殆尽！”
这个问题再一次爆发了，朝中有人提出迁都洛阳，范仲淹不同意，为此他又上了一次书。范仲淹虽然不赞成迁都洛阳，却赞成充实洛阳。原因有二：一是他认为现在国家太平，不适宜讨论迁都的问题，这样会造成百姓的恐慌；二是洛阳是历代帝王之宅，负关河之固，边疆不宁时可以退而守之。这点虽然比开封有优势，但洛阳已经很久没有为都城了，没有粮食的积蓄，各种防护都老旧了，现在不宜迁过去。不过一旦国家真正发生急难，需要退处洛阳以守之的时候，将凭什么守？因此，要在洛阳做好各种储备。他又提出一个办法，就是由朝廷以各种名义，逐渐充实洛阳的府库储积。陕西有余，可运而下，东路有余，可运而上，数年之间，必可使洛阳达到战备状态。这样一来，就可以有运用的余地。
范仲淹提出的这个办法，不失为兼顾理想与现实的好构想。乍看之下，他反对迁都之议，似乎稍嫌保守，不够眼光。但从事实发展来看，当年澶渊之盟前，辽兵大举南下，有人主张迁商丘，有人主张迁四川，但就是没有人主张迁洛阳、长安，可见此二城的文化、经济条件已不复汉、唐旧观。
但是舍弃开封，实在也只有洛阳、长安可以拿来作为国都。而洛阳在当时的条件，除了据以防守的山河之险仍依旧以外，其他方面实在已不符合长久设为首都的要求。因此，范仲淹的意见，算得上是切合实际的权宜之计。
可是，北宋的首都始终没有依据山河之险的需要而迁移，这个争论，显然每次都因没有结果而不了了之。这个迁都争议，却是后来造成范仲淹与吕夷简二度大冲突的因素之一。
吕夷简与范仲淹在之前就爆发了直接的冲突。范仲淹看到宰相吕夷简广开后门，滥用私人，朝中腐败不堪。于是他力陈治乱之道，皆由于用人之得失，得人则治，失人则乱。而用人之得失，实属宰相之职。他说：“天子要日理万机，对于用人，当然不宜一手掌握，可是也不可不察”。于是，他特地绘制一张百官图，按照职级品位，排出合理的及不合理的升迁顺序，然后加注：“如此为序迁，如此为不次，如此则公，如此则私，不可不察也！”这张图等于直接抨击吕夷简用人不当、有私心。
宋仁宗以迁都之议询问吕夷简的意见，他回奏道：“范仲淹，迂阔至极，只会放高论以求名，所言都不符实际。”
范仲淹听说吕夷简竟然在皇帝面前如此说他，就写四论以献，四论包含：《帝王好尚》《选贤任能》《近名》《推委》。其内容大体都在讥指时政，并且很不客气地说：“汉成帝相信张禹之言，不疑舅家，所以才会有王莽之乱，臣恐今日朝廷中也有个张禹，正在坏陛下家法，不可不趁早辨识清楚。”
张禹曾是汉成帝当太子时的老师，汉成帝即位后尊他为师傅。后来拜相封侯，国家每有大政，必征询他的意见。有一次汉成帝怀疑外戚有问题，询问他的看法，而张禹因为自己年老，子孙又弱，不敢直言，最终导致了叛乱。张禹这种作风，很为当时的一位奇人朱云所不满，上书汉成帝“愿借尚方剑，斩佞臣张禹”！