1984年9月，拉宾出任了利库德集团与工党联盟联合政府的国防部长。次年，他即指挥了以军撤出黎巴嫩南部的行动，但他并未改变自己对巴解组织的仇视，因此他也出面组织了对突尼斯巴解组组织总部的袭击行动。
1984-1986年联合政府的总理是佩雷斯，1986年以后，根据联合执政的协议，伊扎克·沙米尔代表利库德集团执掌总理大权。沙米尔是贝京政策的继承者，他不仅拒绝归还“六天战争”占领的领土，还积极地向被占领土扩建犹太人定居点。他在巴基斯坦问题上的高压和强硬政策终于引发了一系列的巴以冲突。
1987年12月6日，在加沙巴基斯坦聚居区，45岁的以色列商人所罗莫·萨卡被谋杀。随后这样的案件常常发生。两天之后，一位以色列人驾驶一辆卡车全速冲向等候检查的巴基斯坦人车队，4名巴勒斯坦人被当场撞死。当天下午就有1000人举行了声势浩大的示威游行。
12月9日，以色列巡逻队的吉普车受到贾巴利雅难民营难民们的石子攻击，以色列士兵向人群开枪，一个15岁的巴勒斯坦小伙子应声倒在了血泊之中。这场巴勒斯坦人的反抗斗争很快扩展开来，约旦河西岸、加沙地带的街头到处是焚烧旧轮胎的黑烟，街道上还有许多阻碍以军的路障。以色列人常受到蒙面的巴勒斯坦青年的攻击。
对于国防部长拉宾来说，镇压这场“石头革命”是他义不容辞的责任。他一点也没想到这场“石头革命”会持续了6个多月。1988年1月19日，拉宾宣布了政府将对作乱者实行“铁拳政策”，他公开允许以军向抗议的巴勒斯坦人开枪。很快催泪弹、橡皮子弹和杀伤子弹都使用到闹事者们身上了。冒死采访的许多记者把他们的中东见闻很快发表在世界许多报刊上，拉宾受到了一次广泛的、世界性的谴责。
当然拉宾更多的还是要受命于沙米尔政府，沙米尔一直敦促拉宾手段还可再强硬一些，因为沙米尔心目中闹事的大孩子们也在他所言的“恐怖分子”之列。
约旦河西岸、加沙地带顿时在凄凉与恐怖之中，数以千计的巴勒斯坦人被抓，大量嫌疑分子被驱逐出境，每天下午4点即要实行宵禁，巴勒斯坦人蓝牌照汽车被禁止出行。
从1987年底到1992年，以军的“铁拳”令1775名“扔石子”的巴勒斯坦人为此而丧命。世界舆论一片哗然，一直支持以色列政府的美国犹太人已经开始主动与巴解组织会晤。卡特总统在1991年7月出面敦促沙米尔参加中东马德里和会，卡特曾无奈地对记者说：“我想有许多人不知道中东到底发生了什么事情。”
观望已久的拉宾看得出，美国已对沙米尔极为不满。同样，沙米尔靠“大以色列国”梦想组织起的一批人中大部分也正在舆论与现实面前逐渐远离了沙米尔。
拉宾认为，几年前自己的一幕又会在沙米尔身上重演，因为他也没有让老百姓的钱包怎么鼓起来，而老百姓给政府“打分”时这方是关键之关键。
1992年2月，拉宾击败了佩雷斯再次成为工党联盟的领袖和总理候选人。拉宾感到信心十足，因为他相信大部分的以色列人已经对利库德集团厌倦了，自己有信心再次“出山”。
6月23日，选举结果揭晓时，工党上下一片沸腾，工党在120个议席中得到了44席，领先利库德集团12席，工党终于结束了15年在野党的辛酸岁月。选票的优势决定拉宾新政府没有必要再是一个工党、利库德的联合政府了。
以色列是一个议会民主制国家，总统是名誉职位，不掌行政权力，是国家的象征。总理是全国权力巅峰的第一人，他由大选产生。大选是4年一次，选民只选出议会中各党所占席位，议会第一大党的领袖即是当然的新内阁中总理。1984年大选结果是两党势均利敌，因此以色列创造了世界议会制历史上绝无仅有的范例，两党联合执政不说，任期4年内分别由工党领袖佩雷斯、利库德集团领袖沙米尔先后担任两年的总理。由于是联合执政，当时的内阁出现25位部长，这对仅有400万人口的以色列来说确实是一个太庞大的内阁了。但事实上是这样，两党用这四年极尽各自能势，通过的决政廖廖无几，大部分精力只能说是用在“扯皮”上了。幸运的是，工党在每次争辩中总是不失时机地提出从黎巴嫩南部撤军及停止在约旦河西岸人口稠密地区建立定居点的主张，为此他们还进行了一次全民公决，有50%以上的人支持了他们，无疑的是，这为工党积累了这次大选获胜的资本。
1992年7月13日，以色列第13届议会对拉宾的新组内阁投了信任票。拉宾兼任了国防部长一职，佩雷斯是他的外交部长。
拉宾不禁想起自己从前第二次出任总参作战部长时的情景，此时彼时，拉宾的激动之情是一样的。第一次出任作战部长，第一次出任总理，拉宾都以失败告终了，第二任作战部长期间，拉宾似乎领悟到了某些东西，才会平步青云。这一次拉宾东山再起，再任总理，给了他一次再次思索的机会。从将军到大使，再到总理，拉宾总是经过一番磨炼才最后进入角色的。一任总理和15年在野，使拉宾更具有了一个成熟政治家的品质，他已与从前那个沉缅于无限索求土地的将军判若两人。
拉宾为了就职演说，作了一番精心的准备。他把“和平进程”一词通篇地换为“实现和平”，他要让以色列国民们摒弃40多年来的孤独感，摒弃“整个世界是反对我们的”这一观念。他要呼吁阿拉伯领导人们都能像埃及前总统萨达特那样大胆迈出和解步伐。拉宾甚至在演说中表示，以色列愿意讨论西岸、加沙地区巴基斯坦人自治体制的问题，他愿邀请约旦——巴基斯坦代表团赴以正式会谈。
就职演说时，拉宾动情地引用了以色列著名诗人肖尔·切尔柯夫斯基的话：“尽管目前看来还遥远，我确信，在将来国与国之间出现平静和相互祝福之际，和解的日子就来临了。”
拉宾当然知道过分宣扬和平也过于简单些了，他还必须稳住数量不小的狂热犹太人，他用一段精彩的话语博得了这些观众的掌声——“各位议员先生们，西奥多·赫茨尔曾说过‘人们的成功源于他们的梦想’。尽管我们经历了种种困难，尽管人们有各种各样的非议，我们通过梦想与斗争已建立起了一个安全的犹太人天堂。这就是犹太复国主义的宗旨，几代人的梦想已变为了现实。”
拉宾的和平建议尚在阿拉伯人的一片怀疑中，拉宾先将其付诸实施了。拉宾先是冻结了100多个被占领土上的定居点，并派遣军警阻止犹太人“自发的”建房行动。不久，拉宾又悉数驱逐了沙米尔当政时期在耶路撒冷占用阿拉伯人住房并强建定居点的犹太人。拉宾保证在1993年将允许巴勒斯坦人选出在西岸和加沙地区的自治机构，5年后对被占领土的最终地位进行谈判。他还任命了两名以色列籍巴勒斯坦人担任了他的内阁副部长，他允许侯塞尼的“阿拉伯研究中心”重新恢复。这一年9月10日，拉宾又代表以色列表示以色列从戈兰高地部分撤出是可能的，他甚至还对反对党要他保证不拆除以色列建在戈兰高地上的32个定居点予以拒绝。
拉宾的这些“和平”攻势确实是令人目眩，美国总统布什对此十分赞赏，马上承诺将此向以色列提供100亿美元贷款。这种亲密的行动在沙米尔执政期间是早已绝迹了。阿拉伯世界这时也开始转变自己的态度，因为拉宾务实而富有诚意的举措不能不令人为之动容。尤其是埃及、约旦已开始用明朗的态度予以回应了，叙利亚、黎巴嫩、巴解组织仍在犹豫之中，但他们确实又不能够轻率地拒绝，这样的机会确实是难得的。他们十分害怕拉宾会“各个击破”地与各邻国逐个“成交”，而使自己变成没有任何回旋余地的“孤家寡人”。
对阿拉伯人这些想法，拉宾早已经了如指掌。他又于12月6日向阿拉伯人宣称：“我相信，我们在1993年是会达成一项协议的。”
再施“铁腕”
拉宾的一系列和平攻势受到了沙米尔的斥责，他认为拉宾这是在廉价“拍卖”以军将士用鲜血换来的戈兰高地。利库德集团一直都对拉宾的主张积极反对，甚至策动戈兰高地定居的以色列人在议会外示威游行。
拉宾并不畏惧这些，这次他打的是有准备之仗，因为他由民意测验而知，仅有5%不足的人支持利库德的寸土不让立场，人们并不喜欢打仗，有76%的将军认为以色列可以与巴勒斯坦人达成和平协议。拉宾唯一为难的是要归还戈兰高地是违反以色列法律的，因为议会早在1981年即已通过了吞并戈兰高地的法案。他已经坚决地要归还大部分戈兰高地给叙利亚，这招致了许多定居者的示威反对，拉宾立场强硬地告诉他们：“以色列是一个民主、主权和法制的国家，有一个选举产生的政府。政府的决定必须得到所有公民的尊重，因为我们不能使每个人都感到满意。”
利库德集团一直都没能将拉宾内阁这艘大船掀翻，这使拉宾有了更多的勇气与魄力。
拉宾在向阿拉伯伸出橄榄枝的同时，并未完全消除对巴解组织的偏见，一系列以色列人受袭击的事件使拉宾不得不重施“铁腕”。
1992年12月13日，以色列边防警官尼希姆·托勒丹诺少校被人在上班途中绑架，还未与政府谈判，托勒丹诺少校就遇害了。
在反对派指责拉宾对巴勒斯坦人太仁慈、太软弱的同时，拉宾挥起铁拳，首先全面封锁了加沙地区和约旦河西岸，逮捕了1600名“闹事”的巴勒斯坦人。他们用“M——85”型冲锋枪以每分钟1200发的速度向示威的巴勒斯坦人发射染色子弹，凡中弹者皆被染上浓重的油彩，他们都将被逮捕入狱或被为期两周的驱逐。
12月17日，415名被指控在加沙地带和约旦河西岸“制造骚乱”和“涉嫌绑架”的巴勒斯坦人被6辆大客车运到黎巴嫩南部以色列自行宣布的“安全区”和黎巴嫩政府军控制区之间隔离地带，以色列士兵将这些被驱逐者赶下车，但令被驱逐者们惊讶的是，黎军长官拒绝他们入境。就这样，他们在前后枪口威逼下开始了无人隔离区中的生活。这些可怜的人饥寒交迫，在中东的冬雨中瑟瑟发抖，悲惨至极。第二天，又有6名巴勒斯坦人死在了以色列士兵的枪口之下。这下引起了国际社会的注意，联合国安理会通过谴责以色列这次驱逐行动的799号决议，要以色列撤销驱逐，并将难民们送回家园。欧共体、阿盟和非统组织也很快出面发表了类似的声明。
拉宾认为严酷镇压已经达到效果了，也愿意见好就收。更何况他时刻关注着白宫对他的评价，美国国务聊伊格尔伯格已出面批评自己了，当然该收敛一下了。海湾战争后的中东，复杂的局势令人扑朔迷离，为了能让美国再显身手，拉宾开始以更审慎的态度对待巴勒斯坦问题。
但是拉宾仍为巴解组织的盟友“哈马斯”痛心疾首，他们的首领是感染力绝不亚于霍梅尼的伊斯兰长老——阿赫马德·亚辛。哈马斯是巴勒斯坦人三派中最极端的一部分，阿拉法特的巴解组织居中，侯赛尼的温和派是令人易于接受的。
1993年6月，科威特解除了对以色列的贸易控制，显然，阿拉伯国家集体“制裁以色列”已经不复存在了。不久，又有利比亚大批穆斯林前往耶路撒冷进行朝圣，素以极端反以著称的卡扎菲居然邀请数百名犹太人访问利比亚。拉宾感到，阿拉伯人已经又向前迈出了令人可喜的一步。
拉宾曾在1992年9月22日提出建立以色列、巴勒斯坦和约旦“邦联”的主张，他曾在以色列外交和防务委员会上说，他并不排除与约、巴联合的可能性，他认为这样会保证以色列的安全。11月17日，外长佩雷斯代表政府提出了更具体的设想，即由以色列人和巴勒斯坦人共同管理1/4的被占领土。阿拉法特对这一建议用“含有某些积极成分”的措辞加以赞许。拉宾注意到了这一举动，并与外长佩雷斯进而研究更加可行的和解途径。
此时的阿拉法特是有许多苦衷的，他所领导的巴解组织在海湾战争失去了大部分的经济援助，他在被占领土上展开活动早已是举步维艰。哈马斯正是借此时机才得以走到中东舞台的前台的。骇人听闻的驱逐事件后，阿拉法特仍然从长计议，坚持继续和谈使他又失去了不少巴勒斯坦人的支持。事实上，阿拉法特亦正在经受来自内外的巨大压力，他是十分需要拉宾的和平之手的，他们的握手才会让一切都好起来。
神秘的庄园
拉宾与佩雷斯考虑之中的更加可行的和解途径事实上完全是由阿拉法特首先促成的。
阿拉法特确实不同于拉宾，拉宾因驱逐事件大受谴责却还有美国出面斡旋，而阿拉法特在倡导和解时却发生了驱逐事件，阿拉法特被动尴尬之极。无助之中，他开始求助于力主以巴直接和谈的海法大学教授希施菲尔德，但学者的作用并未真正奏效。1993年3月，阿拉法特又试图通过“俄罗斯——美国”的官方渠道帮忙，俄国人还算热情，但美国人拒绝了。拉宾把这一切又都看在心里，经过与佩雷斯一番磋商后，在阿拉法特又通过巴解协委会成员阿布·马赞的一位实业家朋友转达诚意时，拉宾点头了。
拉宾曾声称阿拉法特是“中东和平的障碍”，这一次他却向他伸出了和谈的双手。这其中的缘由当然是不言而喻的，巴解组织内部乃至所有巴勒斯坦人没有人比阿拉法特更有威信，更理智而现实。双方初步磋商提出的即是一系列保密原则，因为拉宾与阿拉法特都要各自面对一批自己的反对派，让他们知道和解谈判只会毁掉这次谈判。阿尔法特的顾虑也讲给了拉宾，“解队”、“人阵”和哈马斯从未停止与他的和谈举动的作对。
在以色列副外长约西·贝林的提议之下，谈判地点定在了挪威。以方首先派出的是希施菲尔德和另一名教授，虚实探定后，佩雷斯手下的外交官员出发，赴挪威升格谈判。
谈判地点在挪威首都奥斯陆南方80公里处的保尔高德庄园，这是挪威极善于安排秘密谈判的学者拉尔森的主意。挪威外交大臣霍尔斯特一直参与这个密谈。
保尔高德庄园是一个19世纪的北欧色彩极浓的农庄，霍尔斯特在庄园边的林木中安排了大量的警卫人员。这次密谈，居然一直瞒过了美国人，美国特工从未对此有过任何报告。
谈判依旧是一番唇枪舌战，14轮下来很难轻易地有什么让步。拉宾远在以色列依然密切地“注视”着奥斯陆的一切，协议草案中的每一个标点符号也都要有拉宾的点头。拉宾在秘密传递谈判信息时的代号是“爷爷”，佩雷斯是“爸爸”，而以方主谈判副外长则是“儿子”，电话询问时的“爷爷要求爸爸向儿子传达什么？”弄得以色列摩萨德特工亦是“丈二和尚——摸不到头脑”。
拉宾自己曾当众称赞过巴解的阿布·马赞，称赞他的现实主义。好在记者并未反应过来，不然很可能会功败垂成的。阿拉法特的政治顾问纳比勒·沙特也曾犯过类似的错误，庆幸的是阿拉法特及时发现，把记者们穷追猛打的提问挡了回去。
这时，白雪皑皑的保尔高德庄园谈判已经接近尾声了。霍尔斯特外长的4岁小儿子爱德华做出了巨大的“外交贡献”，每当谈判陷入僵局，他的出现总会驱散人们心中的不快，常常是代表们也与爱德华一起趴在地毯上说说笑笑。在谈判时，铜墙铁壁般的分歧逐一瓦解了。在艰苦的谈判结束之时，谈判代表们抱着爱德华，亲吻这个可爱的孩子。
奥斯陆协议达成了。那已是8月20日夜里了，奥斯陆帕克路45号外交部大楼小会议室里，霍尔斯特紧紧握住佩雷斯和阿布·马赞的手，祝贺双方终于草签了以巴和平协议。
人们沉浸在一片喜悦之中……
拉宾也是激动着听到这个消息的，他的下一步要等待内阁态度了，他们将决定这个草案可否变成正式的协议。
白宫南草坪——那令人振奋的一幕
8月29日，拉宾总理向内阁部长们宣布经过多轮秘密谈判，外长佩雷斯已于20日在奥斯陆同巴解组织代表草签秘密协议——在被占领土上的加沙和杰里科地区给予巴勒斯坦人有限的自治。在座的部长们都被惊呆了，大家都感到这突如其来的事太令人吃惊了。佩雷斯站了起来，他将整个谈判的过程和达成协议的要点向已略有骚动的部长们作了较为详尽的汇报。在场的每一人尽管流露出有欢呼、赞许、沉默、指责乃至愤怒的表情，但大家心里不禁为拉宾的胆略所折服，拉宾干出了太多政治家甚至不敢问津的事情，尽管是“先斩后奏”的，但像1976年恩德培机场营救人质那时一样，拉宾没有受到过多的指责，与巴解缔结和平协议已是大势所趋，时机所在了。
8月31日，以色列内阁批准了协议草案，9月4日，巴解主流派法塔赫也批准了这个协议，9月9日以、巴双方相互承认。在美国总统克林顿的建议之下，拉宾、阿拉法特一致决定把协议正式的地点设在美国。他们二人早已看出美国的窘态，他们有必要给“山姆大叔”一个最后关头亮相的机会，让他作为这次和平进程的“教父”。
9月13日，令人振奋的一幕展现在人们眼前了。美国白宫南草坪上不时爆发出热烈的掌声。克林顿陪同拉宾、阿拉法特走到麦克风前。此时，佩雷斯和阿布·马赞也坐到签字桌旁，他们沉思几秒后，然后便代表双方在和平协议的正本上签字，二人放下笔的时候，场上的掌声已经响起来，许多人激动地流下了热泪，基辛格亦在其中。
这时，阿拉法特向拉宾伸出了手，拉宾似乎又在迟疑了，这时世界上许多家电视台的镜头摄下的一幕是，克林顿用胳膊对拉宾轻轻一推，这时候，拉宾与阿拉法特的手才紧紧地握到了一起。
阿拉法特首先发表了演讲。拉宾第二个发言，他的嘴唇在明显地颤抖，这位曾经参与招致唾骂战争与血腥屠杀的将军今天在这里听到的是人们为和解的热情欢呼，他甚至不敢相信自己是今天这历史一幕的最主要促成者之一。拉宾又走前了一步，多少积郁已久的心声倾吐了出来——
“……我们今天用响亮而又清楚的声音对你们说。血和泪已经流够了，够了。我们无意报仇，我们对你们不怀怨恨。我们，和你们一样，是正常的人，是想建造房屋，种植树木，谈情说爱以及与你们一起生活的人。今天，我们正给和平一次机会，并且再次对你们说：够了。让我们祈祷吧，当我们可以说‘永别了，武器’那一天，和平的日子就来临了。”
9月13日这历史的一幕不仅深深地印在了每个以色列人，每个巴勒斯坦人心中，也印在了世界上所有爱好和平人们的心中。9月17日，联合国教科文组织把“博瓦尼和平奖”授予了拉宾。翌年，拉宾又与阿拉法特、佩雷斯一道获得了诺贝尔和平奖。不久，1994年的“阿斯图里亚斯王子国际合作奖”也颁发给了拉宾。