提出辞职
新帝亲政后不久，遭到总选举的失败、老宰相的威胁，心中悲愤不已，终于开始采取手段对付俾斯麦了。他借口根据驻俄国的德国领事的报告，俄国已准备对德国作战，而宰相却知情不报并建议皇帝早日完成德俄密约。所以皇帝认为不能承认俾斯麦所恢复的普鲁士旧法令，内阁阁员如不通过宰相，不得上奏皇帝。新帝命令废止这项法令，不然就要内阁辞职。
皇帝派的使者3月17日清晨去访问俾斯麦，说：“陛下主张要撤回该条文的规定，不过，我已上奏说公爵可能不会答应。陛下却说：‘那就要宰相立刻辞职。’我希望阁下能在今天下午两点去谒见国王并提出辞呈。”
俾斯麦静静地听他说完，沉默了一会儿说：“我身体不好，不想去谒见国王，但我会书面答复这个问题的。”他决定要以英雄本色进退，不过辞职前，有件重大的事情必须完成，那就是德俄密约。
从在他担任驻法兰克福大使至今，40年间，他所做的一切都是为了如何避免德俄战争，他的直觉认为，德俄开战之日便是德国灭亡之日，所以他认为德、奥、意三国同盟还不够，必须要另外秘密缔结德俄同盟，进一步他还有意缔结德英同盟以防备法国的复仇。
他多年来的苦心总算没有白费，俄国大使已带着俄国皇帝的密令来到柏林，所以无论如何一定要先完成这个密约，把祖国置于安泰之地，然后再辞去首相之职。完成此项使命，有利于德国和平，他自己也能安心辞职了。
俾斯麦心想自己年龄已大，总有引退的一天，辞去首相之职并不足惜。他更担心的还是德国的前途，最可怕的是法国民族的复仇心，他预测几年后法国一定会掀起一场复仇战争。现今，德国已成为欧洲各国的觊觎之地，如果法国向德国宣战，那英俄两国很可能会跟着与德国作对。为了把这两国和法国之间的距离拉远，必须完成德俄秘密同盟。
俾斯麦心中日夜忧虑，他发誓无论如何一定要完成这项使命，否则死也不瞑目。
俾斯麦召集内阁会议，宣布自己决定辞职，而他的辞职理由是皇帝想独揽大权。出乎意料的是，没有一位阁员提议与俾斯麦同进退，此时，他才发觉自己被孤立了，担任首相28年，居然没有一个真正的朋友。
开完会，他吩咐备马，在柏林待了一阵子便回家，刚回家，他便发现书记官正在等他。
书记官焦灼地说：“陛下要我来问你为何要辞职？”
俾斯麦回答说：“陛下随时都可以把我免职，免职命令下来后，我马上签署同意书。但是皇帝必须对此举负责。我当了28年的官，对祖国和欧洲多少有些影响，因此我需要一些时间来让天下人知道此事的真相，然后我会自动去谒见皇上的。”
当晚，俾斯麦便提笔写辞职书。第二天，新帝便接到了长达6页的辞职书。皇帝读完后，在空白处写了两个字：“批准”。但皇帝始终没有把俾斯麦的辞职书公诸于世，而是把皇帝亲拟的俾斯麦引退理由书公开发表，引退理由是健康不佳。
为了报答俾斯麦多年的功劳，皇帝封他为大公爵及陆军少将，还赐予他一笔可观的金钱，但全都被俾斯麦辞拒了。
大公爵的封号，他在有生之年一直没有使用过，他只接受了辞职令。但他同意了皇帝的要求，让长子哈佛继续留任外交部长，因为他希望自己的儿子能完成他未完成的大业——德俄密约。
可惜的是，他最后的希望也遭到奸人荷鲁斯坦从中作梗，以致他的儿子哈佛终究无法完成任务。因为荷鲁斯坦认为一旦签订了德俄密约，俾斯麦便有可能东山再起，俾斯麦再起就等于自己的垮台，所以为了自己的利益，他多方妨碍这个重要密约的进行。
俾斯麦准备离开柏林，他进宫拜别新帝，并参拜了威廉老皇帝的墓，几天后他便离开了长年居住的官邸，准备回到自己位于喀尔斯鲁的山庄。沿途有数万民众为这位老英雄送行。当俾斯麦坐在车上，离开官邸时，民众一起脱帽致意并流下了眼泪。这位德国的老英雄虽然被新王所弃，但一般民众仍对他念念不忘。
退休的俾斯麦在他喀尔斯鲁的规模宏大的山庄里，孤独寂寞地坐着，甚至连拜访者都没有，因为大家都惧怕威廉二世皇帝，如果有人来拜访他，那这个人的名字马上就会被报告到他那里。
德国的报纸都不敢发表与他有关的新闻，因为害怕政府检查，只有汉堡公报例外。此外，就是偶尔会有外国记者访问他。皇帝下令，寄给俾斯麦的信件一定要经过检查，因此除了家人和两三位老朋友外，他与外界完全隔绝。
一次，有位美国的铁路专家来采访他，俾斯麦坐在初见面的外国人身旁，毫不掩饰地说：“你是我这个星期以来的第一位客人，大家都因为害怕皇帝而不敢前来。就是几个月前在柏林街头碰面会给我行礼的人，现在来到镇上也不敢来看我，大家都在排斥我了。”
一些高官、贵族及皇族等，即使以前曾受他照顾，也都迫害他。其中，接任其职的新首相给俾斯麦写信，要求他退回多领的薪水。
信中说：“阁下在3月19日辞职。从第二天起，就要按照退休年金计算，所以20日到31日的月薪属于溢领的，请退回，以便结算。”
这位新首相同时还透过驻外大公使向各国政府通告：
“今后，俾斯麦公爵的言论，与敝国完全无关，请贵政府不要重视。”
大家都这样对待俾斯麦，他在山庄里究竟过着什么样的日子呢？他在编写自己的回忆录，他把自己80年来的生活，详细地口述，让秘书一一记录下来。俾斯麦曾经往来于千军万马之中与敌军战斗，也曾经和访客交谈，日理万机。那时，虽然忙碌却能写出精炼的文章。如今，失去了访客、公务及敌军等一切刺激，他内心顿感空虚，而他灵敏的头脑也不及昔日活跃了。所以，他的回忆录的文体没有他全盛时代的演说和书信精彩。
巨星殒落
俾斯麦的事业没有什么可忙的了，现在他的生活里就只剩下了家庭和森林，他的爱犬死后，他便不再养狗。他的长兄在他下台后不久便死去了，子女们也都不在他的身边，只有妻子留在他身边，他害怕和妻子离别，他对友人说：
“我不愿比我太太早一步归天，我不愿留下妻子一人。”
从1894年后，他妻子的身体日益衰弱，那年秋天，她过了70岁生日。一天早上，当俾斯麦走进她房间时，发现前天晚上还在饭厅一起用餐的妻子，已经与世长辞了。他抱着妻子好像10岁少年般地坐在地板上放声大哭。
第二天早晨，他从书架上拿下一册德国历史，对自己说：“希望这本书能让我心情好转。”在一起生活48年之久的妻子的死，给他带来了很大的打击，心中一时还无法恢复平静。
1896年，俄国和德国的条约期满后，俄国转而与法国接近，为此，欧洲各国很恐慌，德国报纸也指责这是俾斯麦的失策。这让俾斯麦很不服气，于是他便把自己辞职前后的事情公开发表在了报上，这对德国皇帝打击很大，而这一次也是俾斯麦的最后一次公开活动。
从第二年开始，俾斯麦因神经痛而双脚行动不便，一直坐在轮椅上。不过他的脑力倒是一点没有衰退。他当时曾预言俄国可能会很快成为共和国，一旦劳资之间发生纠纷，最后一定是劳工胜利。任何一个国家一旦给劳工投票权，就一定会发生这样的结果。此外，他还预测了德国的未来，他说：“神可能会再给德国一次衰颓期，之后再给它新的光荣期。但是可能要在它改变为共和制度以后才能出现。”
1898年7月30日晚上11点，俾斯麦在喀尔斯鲁山庄去世了，享年83岁。临终时，他对守候在枕边的女儿说：“谢谢你！我的女儿！”
根据他的遗嘱，儿女们把他和妻子一起葬在了喀尔斯鲁山庄的丘陵上。虽然皇帝赐给他国葬的恩典，但他的长子哈佛以父亲的遗嘱为由婉拒了。
俾斯麦的墓碑上写着：
俾斯麦公爵，长眠于此。
1815年4月1日生。
1898年7月30日死。
威廉一世皇帝的忠臣。