对于某些暂时屈从于石勒的坞主，祖逖也注意策略。当时，有的坞主因为儿子被扣留在石勒那里当人质。祖逖的军队来了以后，他们虽然不想和北伐军对抗，但是又怕石勒报复，所以不敢违抗。祖逖对他们采取了比较灵活的态度。理解和同情他们的处境，允许他们在归附自己以后，仍然和石勒保持着表面上的从属关系。为了不让石勒怀疑，祖逖有时还派出一些人马，假装偷袭这些坞主。因此，坞主们非常感激祖逖，愿意跟他合作。在他们和石勒来往的过程中，发现石勒有什么举动，就马L把信息告诉祖逖。祖逖得到这些人的内应与合作，在军事上处于主动地位，所以每战必胜。
由于在军事上和政治上的不断斗争和努力，经过几年的艰苦经营，祖逖收复了黄河以南的大片领土，使凶残顽固的石勒不敢窥兵黄河以南地区了。饱受石勒统治之苦的中原父老们欢欣鼓舞，奔走相告。当时，由于中原地区连年战乱，许多青壮年战死在疆场上，家里只留下无依无靠的老人和孩子。祖逖怜惜乡亲们的处境，每到逢年过节的时候，就置办一些酒菜饭食，招待这些孤苦的老人们。在一次宴会上，一位白发苍苍的老人，面对着丰盛的酒菜，看着他们爱戴的祖逖将军，想起了几年来国破家亡所受到的种种磨难，不禁老泪纵横。一边哭一边说：“我们都是快要老死的人了，没想到还能看到亲人，受到祖将军这样的恩遇。现在就是死了，电能闭上眼睛了。”这位老人的话，引起了在场的人的共鸣，大家激动地唱起了歌：
幸哉遗黎免俘虏，
三辰既朗遇慈父。
玄酒忘劳甘瓠脯，
何以咏恩歌且舞。
歌词大意是说：幸运啊，我们这些百姓免得遭灾殃、当囚徒。就像在日月星的照耀下，我们受到祖将军慈父一样的保护。宴会上，我们喝美酒、吃甜瓜，啖果脯。该怎样颂扬祖将军的恩德呢？我们载歌又载舞！
祖逖北伐取得了成绩，得到中原百姓深深爱戴的消息传到了北方，青少年时期和他一起“闻鸡起舞”的好朋友，当时正在并州（今山西太原附近）抵抗石勒的刘琨，特意从遥远的任所写信给祖逖，称赞他取得的成就。另外，还有一些人从河北地区率亲众来投奔祖逖。可见，祖逖收复河南的举动，实现了广大人民，特别是汉人多年来的愿望，影响远传到了河北地区。也正因为如此，向来无心也不支持北伐的晋元帝，有感于祖逖的艰辛开拓，下诏提升他为镇西将军。这是祖逖北伐以来取得成就最大的时期。
四抱恨长终
收复河南后，祖逖开始做渡河北上的准备。首先，在经济上，他发展生产，积累军粮，为北上准备充足的物力和财力。在当时的情况下，祖逖清醒地意识到，军粮的充足与否，是关系到北伐能否继续下去的关键因素。为此，他采取功课农桑的方针，发动群众自力更生，发展农业。祖逖自己身体力行，生活朴素简约，清正廉洁，不为自己置办家产。他的子弟、亲属及战争间歇的士兵等，也都下地干活，上山砍柴。就在这时，石勒为了讨好祖逖，让成皋县修整了祖逖母亲的坟墓，又派人带着财物、书信，请求祖逖允许双方相互通商。祖逖在军事、政治上从没向石勒妥协，但是他认为这是发展经济的好机会。因此，他虽然没有给石勒回信，实际上却答应了他的请求，瞒着东晋朝廷，让百姓随意贸易买卖，使他管辖内的地区，收到十倍以上的好处。军营里兵马、士卒越来越健壮，百姓的生活也得到了改善。从而在黄河南岸建立了比较稳固的经济基地，为继续北上创造了有利的条件。其次，在政治上，严明军纪，赏罚分明。祖逖转战中原，亲眼目睹了中原百姓饱受战乱的痛苦。他严肃军纪，告诫士卒们不要伤害百姓。严禁部属抄抢居民的财物。又注重赏罚，不管什么人，立了功都要赏赐，哪怕只做了一点好事，也要在当天给予奖赏。但违犯了军纪也必定惩罚。因此，军队纪律严明。士气旺盛。
但是，就在祖论准备渡河北上的时候，东晋的局势发生了新的变化。太兴四年（321年），晋元帝突然任命戴渊做征西将军，都督司、兖、冀、豫、并、雍六州诸军事，司州刺史，坐镇合肥（今属安徽）。管辖范围包括祖逖已经收复了的黄河南岸和准备收复的河北地区，实际上等于剥夺了祖逖指挥北伐的兵权。司马睿为什么要在祖逖北伐顺利进军的时候夺他的兵权呢？这需要从东晋政权的内部结构以及这个偏安皇帝的处境说起。
司马睿称帝以前，只是个琅琊王，名望并不高。他之所以能在江东地区站稳脚跟，坐上皇帝的宝座，琅琊大族王氏起了鞍前马后的作用。是王导和他的族兄弟王衍、王旷等人的策划，司马睿才在西晋灭亡前又移居建邺，在江南占据了有利之地。当时，江南的土著大族也根本看不起这个外来户，蔑视地叫他“伦父”（吴语，乡下佬的意思），以至于司马睿已经来建邺一个多月，有身份的人没有一个来登门拜访他。王导意识到了问题的严重性如果得不到江南大族的接纳，司马睿就很难在当地站稳脚跟。于是，他亲自导演了一幕“戏剧”。每年农历三月三日，是江南的“上已日”（也叫“楔节”）。这一大，无论官员、百姓都要到江边去祭水神，以求福消灾。王导让司马睿也去。这一天，他让司马睿坐着豪华的轿子，簇拥着威严的仪仗队。王导和他的从兄王敦（当时任扬州刺史）以及跟随司马睿南下的北方大族们，都骑着马，恭恭敬敬地跟在司马睿的轿子后面。江南大族一看，王导这么有名望的北方门阀之魁都对司马睿那么恭敬，觉得这个人一定是个了不起的人物，说个定将来能做江东之主。于是，顾荣等江南望族们赶忙跑出来，在路边拜见司马睿。王导正想宠络他们，通过他们使整个江东门阀都向司马睿靠拢。所以，就建议司马睿用顾荣等人做官。司马睿授权让王导登门拜访顾荣、贺循两家江南最大的世族，请他们出来做官。当时江东无主，顾荣、贺循这些门阀大族也想在江东拥立一个能维护他们利益的政权。于是经过王导的斡旋，双方一拍即合，江南大族应命而至，都来拜见司马睿。这样，司马睿就得到了南北大族的共同拥戴。正是由于王导的苦心经营，司马睿才能于西晋灭亡以后，顺利地在江南建立了后续政权。
为报答王导的翼戴之功，东晋一建立，司马睿就让王导作丞相，主持中央朝政，让王导的族兄王敦做镇东大将军，都督江、扬、荆、湖、交、广六州诸军事，总揽军权。其他王氏家族的亲属在京城做官的就有20多人，还有的在地方独当一面。司马睿尊称工导为“仲父”，在称帝登基时，甚至请于导和他升御床共坐，一同接受文武百官的朝拜，这是历史上从没有过的事情。王导大吃一惊，说：如果太阳跟普通生物在一起，那么生物还怎么能得到阳光的照射。司马睿很高兴，大封王家人做官。所以，当时人们都说说：“王与马，共大下。”意思是说王氏和司马氏共同拥有天下。司马氏有其位，王氏有其权人方“平起平坐”。
在这个过程中，作为王氏家族中重要一员的王敦，身为镇东大将军，都督江南六州诸军事，坐镇武昌（今湖北鄂州），控制长江中游。他擅自任命官员，培植亲信，和中央朝廷对抗。司马睿担心工敦会图谋不轨，发动叛乱，又怕祖逖在河南的势力一大大地壮大起来，不好控制，于是，想了一个自以为一箭双雕的策略，让亲信戴洲来当都督，统管北方六州的军事，坐镇在合肥。又计另一名亲信刘魄镇戍在泅口。祖逖对这些没有思想准备。没想到苦心经营了几年，换来了这样的回报，感到接受不了，心里抑郁不快。
戴渊是江南人，虽然在当地很有名气，但他缺少谋略，没有远见，更没有北上收复故土的忐向。用这么一位只有虚名的平庸之辈统领至关重要的北伐大业，祖逖当然不放心、何况自己惨淡经营了多年，好容易才打开局面，现在却要把全部成果拱手交给别人，自己被搁在一边，祖逖怎么也接受不了这个不公平的待遇。
不久，传来了司马睿和王敦之间矛盾恶化的消息，内乱随时都有可能发生。祖逖失望地意识到北伐大业不可能实现，因而忧虑愤懑，加上积劳成疾，终于病倒了。在病中，他仍以大局为重，念念不忘北伐事业。他把妻儿家室安置在汝南大木山下。很多当地人认为汝南不安全，劝他另找别的地方，但祖逖没有把心思放在妻儿身上，反而不顾重病的身体，继续做着北伐的准备当地的武牢城是军事要塞，北临黄河，西接成皋，地势开阔，但南部城防不坚固，祖逖怕敌军从城南偷袭，派他的从子汝南太守祖济联合汝阳太守张敞、新蔡内史月闳等率部众修筑城垒。但是没等修完，祖逖就因过度忧愤一病不起，大兴四年（321年），这位备受人民爱戴的祖逖将军，就像当年诸葛亮辅佐刘禅准备平定中原一样，出师未捷，含恨死在了雍丘。这一年，他56岁祖逖病死后不久，王敦举兵叛乱，东晋统治集团忙于内部权力的争斗，没人关注北伐之事祖逖收复的江南大片故土重新被石勒轻易夺去，北伐成果化为乌有。一番轰轰烈烈、本来极有成功希望的事业，就这样葬送在东晋统治集团的内部火并之中。
祖逖艰辛北伐，却抱恨而死，这在当时一切善良的人们心中引起了巨大的悲痛。豫州的男女老少恸哭失声。为了怀念这位含恨而死的将军，人们在他当年浴血奋战过的谯县（今安徽是县）等地，建立祠堂，以纪念这位有功于国家、有功于人民的一代名将。