1960年7月，岸信介内阁下台，池田勇人内阁成立。就在池田内阁成立的当天，7月19日，池田首相在会见记者时谈了他的对华方针：“对中共的政策未必采取与美国相同的态度”。在其后的两次施政演说中，池田都提出要“与中国大陆改善关系”。表明池田想要纠正岸信介内阁敌视中国的错误方针，向鸠山、石桥内阁的对华积极态度方面靠拢。这时正值中国进入国民经济的三年困难时期，美国的封锁和苏联的撕毁合同、撤走专家、逼还贷款更加剧了中国的困难。中国政府努力在外交上打开局面，以缓解国内的经济困难。日本这个距中国最近的工业国自然是中国政府的重要考虑对象。中国政府抓住池田内阁改变对华政策的时机，积极推动两国关系的发展。两国民间团体的往来再度频繁起来；民间友好交往领域进一步拓宽；两国之间的贸易有了迅速发展，到1963年，中日贸易额超过1亿美元，恢复到50年代最高水平。特别是，1962年11月，中日双方签署《中日综合贸易备忘录》，使中日贸易和友好往来站在一个新的起点上，两国贸易关系实质上已是半民半官关系；1963年10月，由19个民间团体发起，在北京成立了中国日本友好协会；1964年4月，中日双方签署了互设贸易联络处和互换常驻记者的协议，使中日交往有了半官方渠道。中日关系达到了一个新的水平。
然而，好景不长。1964年11月，岸信介的弟弟佐藤荣作取代池田勇人出任日本首相。佐藤在上台前曾表示要重视发展中日关系，但是上台后很快就变了调子。佐藤内阁阻挠中日往来，破坏中日贸易，大搞反华活动。中日关系再度冷却。
佐藤上台后对中国做的第一件事，就是在1964年11月20日决定拒绝由彭真率领的代表团入境。该代表团是应日本共产党中央委员会的邀请前往参加日共第九次代表大会的。这是当年中国访日的最高级代表团，如果访问成功，必将促进中日关系的发展。但是佐藤内阁却拒绝这个发展中日关系的机会。此后，佐藤内阁又多次阻挠中日民间的友好往来。不仅如此，佐藤内阁还破坏中日贸易。1965年2月，佐藤在众议院预算委员会上发言，宣布对华出口第二批维尼纶成套设备和日立造船厂货船时，不使用日本输出入银行的贷款。这是违背原来协议的。此举使上述出口合同先后作废。此外，佐藤内阁还配合美国大造反华舆论，阻挠中国恢复联合国合法席位，推行“两个中国”的政策。
佐藤内阁的反华政策，受到中国政府的抨击。1964年11月23至25日，《人民日报》接连发表《敌视中国人民的重大行动》、《不知时势的佐藤政府》和《佐藤荣作的白日梦》等文章，历数佐藤内阁拒绝彭真入境、攻击中国核试验、公然反对恢复中国在联合国合法席位、鼓吹“两个中国”等行为。中日关系紧张程度加剧。不过，这一回中国政府在回击日本政府的反华行为的同时，保持了应有的克制，继续寻求对话和交往，尽最大努力维护中日关系，促进两国民间的友好往来。仅1965年一年中，日本有185个团体、4472人访华；中国有55个团体、397人访日。毛泽东主席、周恩来总理还接见了曾受日本政府阻挠来北京参加中国举办的中日青年友好大联欢的日本青年。“文革”初期，中国处于混乱状态，外交受到冲击。即便在这种形势下，中国政府仍然努力促进两国关系的发展，两国民间往来没有中断。1967年2月，中国人民对外文化友好协会与日中文化交流协会签署了《中日两国人民文化交流备忘录》及《1967年度交流计划》。到了60年代末，随着中国外交战略的调整，中国更加强了对日民间外交。
中国政府在中美对抗和美日同盟这个框架内，在存在着日台和约这个巨大障碍的情况下，通过积累渐进的方式，推进了中日关系的发展，虽然经过了两起两落，但还是为中日复交打下了良好的基础。到中日复交时，田中内阁的对华政策得到了超党派的支持和76％日本国民的赞成。
五、大洋彼岸的美国：隔在中日邻邦中间的一堵高墙
50-60年代的中日关系，之所以会出现大起大落的局面，并且始终没有能实现邦交正常化，特别是鸠山内阁，推行“自主和平外交”，于1956年恢复了与苏联的正常邦交，但是却未能在恢复中日邦交上迈出关键的一步。其中最主要的原因在于美国因素的制约。这种制约一方面来自于美国的直接压力，另一方面来自于由美国一手造成的“台湾问题”。美国因素是这一时期制约中日关系发展的最大障碍。
在美国的操纵下，1951年的旧金山对日媾和会议排除中华人民共和国（台湾国民党政权也未参加）。中国既然未参加对日媾和，就意味着日本与中国之间的战争状态仍在继续。关于中日和约问题，会议决定将来由日本自己选择，出现了由战败国选择战胜国政府媾和这种史无前例的反常现象，根本无视中国人民的权利。起初，吉田内阁在日台和约问题上比较谨慎，不愿过分亲蒋反华，以便为以后的对华外交留有回旋余地。1951年10月25日，日本内阁官房长官冈崎胜男会见台湾蒋介石集团的驻日代表董显光时曾谈及和约问题。他说：“我们现在的政策是要慢慢等待时机，以待日本实现独立自主后，研究何时同中国签订和约或选择中国的哪一方问题。我国历来尊重中华民国政府，遗憾的是，中华民国政府的领土只限于台湾。”10月30日，吉田首相在回答国会议员羽仁五郎的质询时说：“日本现在虽然被定为有选择媾和对手之权利，但如何行使这一权利，亦须考虑客观环境，考虑中国国情及中国与日本将来之关系，不打算轻率地做出决定。”
然而，美国不断对日本施加压力，以美国国会不批准旧金山对日和约相要挟，逼迫吉田内阁选择台湾国民党政权缔约。负责处理对日媾和问题的国务院顾问约翰·杜勒斯还于1951年12月亲自到东京督阵。杜勒斯对吉田施压说：“日本应同台湾仅就其‘事实上’控制中国领土——台湾及其临近诸岛——缔结条约”。并敦促说：“关于对台湾政府没有控制的中国其他地区的关系，留待将来再行决定”。12月24日的《吉田信件》就是吉田屈服于这一压力的结果。不过《吉田信件》中又“希望最终同日本的邻国中国建立全面的政治的和平与通商关系”，而与蒋介石集团谈判的最初草案，目的在于签订一个通商航海条约，说明日本既要屈从美国与台湾签订条约，又想为同中国建立全面关系留有余地。吉田茂在1957年回忆“日台和约”谈判时，披露了他当时的思想：“在我来说，同台湾友好和促进经济关系，本来是我的宿愿，但是，我也想避免进一步加深这种关系而站在否认北京政府的立场上。”吉田的这种思想虽然有愿意同中华人民共和国发展关系的愿望，但却有推行“两个中国”政策的味道。实际上，这正是他后来搞“两个中国”政策的思想根源。
日台媾和为中日关系的发展设置了一个巨大障碍，等于是在政治上冻结了中日关系。此后，美国和吉田内阁都极力压制中日民间外交的发展。第一次《中日贸易协议》签订后不久，美国驻日大使墨菲立即发表谈话，反对实施协议。吉田内阁也扬言，要对访华并参与签订协议的日本议员进行处罚，还散布说这些议员访华之行违反《护照法》。在美日两国政府的阻挠下，《中日贸易协议》的实施日期一再被拖延，致使协议中对华出口的全部甲类、大部分乙类货物均未到位。1952年9月，当亚洲及太平洋区域和平会议在北京举行之时，吉田内阁拒绝发给日本代表团成员护照，在日本外务省静坐申请护照的代表团成员还遭到暴徒的殴打。
在鸠山内阁期间，美国对日本外交也施加了重要影响。1955年1月，美国国务卿杜勒斯发给美驻日大使馆一份政策性电报，明确了美国政府对鸠山内阁与中苏改善关系倾向的态度和对策，表示反对日本发展与苏联的关系，特别是反对日本“承认共产党中国”。鸠山内阁的外交重点是日苏复交。由于当时美苏之间出现缓和的大气候，再加日本加入联合国符合美国的利益，而日苏复交又有助于日本加入联合国，因此日苏复交所受到的来自美国的阻力相对较小。但是美国还是支持自民党内的反对论和慎重论。如果鸠山内阁解决日中复交问题，很显然会受到来自美国和自民党内亲美势力更大的压力。同时，由于日台有“外交关系”，鸠山内阁还须面对来自台湾国民党政权和自民党内强大的亲台势力的压力。正是慑于上述压力，鸠山内阁在中日复交谈判问题上只是口惠而实不至。尽管如此，由于它实现日苏复交已经违背了美国的意志，特别是在日苏交涉中未能解决领土问题，使日本亲美保守势力大为不满。在亲美势力的施压下，鸠山内阁下台。这一结果促使日本政权转入强烈反华的岸信介手中。美国很快对岸信介内阁作出友好的姿态，邀请他访美，杜勒斯还称他是“战后日本最强有力的政府首脑”。由于岸信介致力于实现日美关系的对等化，而当时中美关系又处于紧张状态，因此岸信介更加配合美国反华。美国对岸信介内阁的对华政策也施加了直接影响，在第四次中日民间贸易协定签字后不足半月，正在访日的美商务部副部长乌里阿姆斯就施加压力说：“美国现在依然全面禁止对中共的贸易……从过去的经验看，中共能否确实履行国际协定是个疑问，因此希望日本政府持慎重态度。”这些因素最终导致中日两国在各个领域的交往全部中断，两国关系严重逆转。
由于美国因素的作用，中日关系的改善是异常艰难的，每前进一步都会遇到来自美国、台湾国民党政权和自民党内亲美亲台势力的阻挠。1962年5月，当池田内阁制定了在对华贸易上采取延期付款的方针时，美国出来阻拦，助理国务卿哈里曼针对日本的新决定发表谈话，反对扩大日中贸易。同年9月，自民党顾问松村谦三访华并在北京发表了倡导中日友好的谈话后，哈里曼说，日本与中共进行贸易是“危险”的，希望日本不要“为政治目的所利用”。台湾方面也表示，如果以延期付款方式向中共出口化肥，台湾将停止日货进口。1963年8月，日本政府批准人造丝株式会社使用日本输出银行贷款向中国出口成套设备，台湾当局对此大为不快，一再向日本政府提出“抗议”，还召回其驻日“大使”，并中止从日本进口商品。美国与台湾因素的制约，使得池田内阁的对华政策有很大的局限性。1964年1月中法建交虽然对日本形成巨大冲击，但池田内阁始终未作出与台湾断交的决断，而且有时还有阻挠中日往来的行为，以在中美之间搞“平衡”。此外，池田内阁还在联合国内在中国代表权问题上当了重要问题的联合提案国，配合美国阻挠中国重返联合国。更为严重的是，池田内阁还积极配合美国鼓吹“中国威胁论”，在1962年12月举行的欢迎出席日美贸易经济联合委员会第二次会议的日方阁僚午餐会上，日方人士称“继古巴事件之后，东西方较量的地点不是柏林，而是东南亚，对手不是苏联，而是中国”。
佐藤内阁推行反华政策在很大程度上也是由于美国因素的制约。按说，经过10几年的逐步积累，中日友好的基础日益牢固，中日邦交正常化已成为不可阻挡的历史趋势，凡是有眼光的政治家都无法回避之一现实。佐藤正是看到了这一点才在总裁竞选中做出要促进中日关系的表示。但是佐藤又以维持日美联盟关系，争取早日收回小笠原、冲绳诸岛为最大的政治使命，使其对华方针受到制约。特别是佐藤上台正值中美关系因越南战争的升级而日益紧张之时，急欲提高日本的国际地位并试图增强日本外交自主色彩的佐藤，便将筹码押到美国一方，为密切日美关系而牺牲中日关系。
正是由于美国因素的制约，中日关系才会在20年内无质的变化。当然，也存在日本自身的因素。特别值得一提的是，直到中日复交前，日本历届政府都在“两个中国”问题上持不正确的立场。日台和约签订后，吉田内阁就积极配合美国制造“两个中国”和“一中一台”。就是鸠山内阁，也是持“两个中国”的立场，在这一点上与吉田内阁没有区别。鸠山内阁没有实现日中复交，很重要一个原因是它觉着日中复交不象日苏复交那样对它有利，由于台湾国民党政权占据着中国在联合国的席位，与中华人民共和国复交无助于它加入联合国。此后，无论是推行反华政策的岸信介内阁和佐藤内阁，还是积极推动中日民间往来的池田内阁，都没有在“两个中国”问题上有任何变化。