话糙理不糙，唐高宗和武昭仪听了自然很受用，不久以后就恢复了许敬宗礼部尚书的职位。武昭仪此时已不是初入宫廷的天真小姑娘了，她对朝中各派的实力、诉求、优劣都了如指掌。抓住许敬宗这个人后，她觉得可以放心利用。
永徽四年（公元653年），武昭仪秘密召见许敬宗。这次密谈，武昭仪亮出了她的政治底牌，一是实现自己的皇后梦想，二是立自己的儿子李弘为太子。
武昭仪的两张底牌，要的不光是个人发光发热，而且要整个帝国跟着自己一起发光发热。宦海沉浮的许敬宗毕竟是老辣之人，他劝武昭仪不要操之过急，目前仍以网罗人才、收罗人心为主，伺机再动。他还特别劝武昭仪，要多看历代《实录》，知古而鉴今。
知道怎么站队的官员，就是皇帝需要的官员。尽管武氏当过高宗皇帝的小妈，如今又成了他的昭仪，下一步还要当母仪天下的皇后。让武昭仪当皇后，一般人是难以接受的。
难以接受不代表不接受，何况这是高宗皇帝的意思。事到如今，就算是傻子也能明白皇帝的心意，于是越来越多的人开始加入力挺武昭仪的队伍中来，王德俭、崔义玄等是较早的一批，后来这些人都成了武则天的心腹。一批大臣就这样分化出来，站到了长孙无忌的对立面。
许敬宗被任命为礼部尚书之后，还不知好歹地跑到长孙无忌府上去劝说他赞成立武昭仪为后，结果可想而知，他遭到了长孙无忌正言厉色地斥责。长孙无忌的态度并没有挡住武昭仪的这一波攻势，事态还在进一步发展。
八月，长安县令裴行俭，听说了这件事，到长孙无忌的府上谒见，凑巧中丞袁公瑜也在场。裴行俭言辞激烈地抨击几句之后才告辞离去。袁公瑜一出长孙无忌家门，就跑到武昭仪的母亲杨氏那里告密去了。第二天，高宗皇帝颁诏，贬裴行俭为西州长史。
经过这一段的暗中较量，双方正式摊牌的时间终于到来了。
高宗皇帝实施的一系列人事任免打击了维护王皇后地位的保后派，鼓舞了支持武昭仪的挺武派，同时也看出长孙无忌、褚遂良这些人并不会采用激烈的手段对付自己。既然如此，高宗李治和武则天的夺权行动就变得更加积极主动了。
王皇后的垮台，让武昭仪可以腾出手来，全力以赴地解决以长孙无忌为首的反对派。
九月，由皇帝李治亲自提名，六十多岁的许敬宗官复原职，任礼部尚书。当许敬宗气宇轩昂地站在朝堂前排的时候，长孙无忌、褚遂良他们对其投以鄙夷的神色，但又无可奈何。
他们只好以沉默来表示不满，往日热热闹闹、畅所欲言的朝堂出现了少有的冷清。高宗李治也觉得不对劲。问问朝臣们有没有事，见大家都摇摇头，只好早早地宣布散朝。
这天早朝后，宰相们按惯例齐集门下省之政事堂商议国事。忽闻皇帝宣召长孙无忌、李、于志宁和褚遂良等宰相去内殿，说有要事相商。
大唐自先帝以来已经建立了一个惯例：宰相退朝后一起到门下省的国政议事堂——政事堂——议政。这时的宰相共有七人，而高宗这次只宣召太尉长孙无忌、司空李、左仆射于志宁和右仆射褚遂良四人，而没召侍中韩瑗、中书令来济和崔敦礼，事有蹊跷。
褚遂良在进入内殿前说：“今天让我们进内殿，很可能是为了皇后的事情。皇上的主意已经拿定了，违背他的旨意就会被杀。太尉是皇上的舅舅，司空是开国功臣，不能让皇上背负诛杀舅舅和功臣的恶名。我出身寒微，又没有汗马功劳，当上这样的官职，而且受先帝临终前的嘱托，不以死相争的话，将来有什么面目去到地下见先帝！”
在长孙无忌看来，高宗对这件事相当执着，背后应该有武氏的一再催逼，该来的事情总是要来的，躲是躲不开的。
褚遂良的态度异常坚决，那就是以死相争。在这几个人中间，只有李最滑头，这位时任司空的开国名将在这时候却当了逃兵。李居然连内殿都没有进去，就找个机会开溜了。
其实李有他自己的一番考虑，他不愿意帮助长孙无忌向高宗皇帝施压，因为他更倾向于支持皇帝立武氏，以压制长孙无忌的熏天权势；但同时，他也不愿意当众和这些同僚闹翻，把关系搞僵，于是选择了暂时回避。
李一走，就剩下三人步入内殿。李治的意思很很明白：王皇后没有儿子，武昭仪有儿子，现在自己想立武昭仪为皇后，不知诸位爱卿意下如何？
褚遂良没有食言，他不等长孙无忌开口就抢先说道：“皇后出身名门，是先帝为陛下选的妻子。先帝临终前拉着陛下的手对臣说，要把自己的好儿子好儿媳托付给臣，陛下当时也听见了。如今，皇后并没有犯什么过错，怎么可以轻易废黜呢！我不能只听从陛下，而去违背先帝的遗命。”
皇帝的权力虽然很大，但还是有办法能制约的。制约皇帝最好的方法就是先帝遗命，现任皇帝违抗先帝遗命就是不孝。在封建时代，就算是至高无上的皇帝也怕担上不孝的罪名。
既然褚遂良把先帝遗命抬了出来，高宗皇帝也只能无语相对。
高宗皇帝昨天刚刚碰壁，今天又再提此事，依他略显软弱的个性，在爱情的魔力和武昭仪的步步进逼之下，他并没有就此作罢，反而越战越勇。
其实形势这时已经完全明朗化了。政治是一种理想化的东西，有时候比拼的是私欲。凡是因理想而玩弄政治，最后成全的往往是个人的野心。
高宗准备废后的想法，引起两大政治势力的对峙。站在王皇后一边的，是以长孙无忌为核心的贞观朝的老臣，这帮人是关陇集团——士族官员的代表。一方面，他们是在忠实执行唐太宗的临终嘱托；此外，也是为了维护自己的既得利益。
四大臣中，属于非关陇集团的是李，他的态度是令人关注的，自贞观二十三年（公元649年）九月李从迭州被召回来，他的官位一直在上升，永徽四年（公元653年）二月，长孙无忌杀吴王李恪时，李似乎是支持长孙无忌的态度。李恪死后，李升任司空，这个位置原来是李恪的。
在废后立武这件事的初起阶段，李的态度和长孙无忌等人的态度基本上是一致的。
今天四人在进入内殿之前，先开了一个小会，议论由谁先进言的问题。既然是讨论由谁先进言，那么这种讨论的先决条件是四个人的态度已完全一致，即他们都一致反对废立。然而就在这时候，李的态度已经暗暗起了变化。
这次是初步交锋，高宗李治与四位大臣都摆出了各自的论据，但谁也说服不了谁，结果闹得不欢而散。
而另一方，阵容没这么整齐，倒像是权力系统内的散兵游勇，但其中不乏机智之人。其中有一个重量级的人物，李。李是曹州离狐（今山东东明县）人，本姓徐，也就是演义里神鬼莫测的徐茂公。不过现实中，此人却是不折不扣的武将。
李是土豪出身的草头王，隋末投了农民起义的瓦岗军，瓦岗军被打垮后，率部下降唐，受到高祖、太宗两代皇帝的器重，是“凌霄阁二十四名臣”之一。
由于这些人是以李为带头大哥，所以有人将其称之为山东集团，代表的是庶族官员的利益。事情发展到这个地步，只要稍加权衡，武则天就能看清自己所面临的险恶处境，在支持她的人中，除了李义府，还有礼部尚书许敬宗。
李给人的感觉是犹抱琵笆半遮面，让人看不清真面目。武昭仪知道，尽管自己已经做到了极致，可那些反对她的人却浩若尘沙：左右仆射褚遂良、于志宁、大尉长孙无忌、侍中韩瑷、中书令来济、大将裴行俭……
高宗皇帝对自己的信任与宠爱虽然已达到前所未有的顶点，但武昭仪深知“月盈而亏”的道理。更何况高宗皇帝性格中偏弱的成分要大于刚猛之处，很多时候，在长孙无忌这样的朝廷重臣面前，他也只能做一个提线木偶。
没过两天，高宗皇帝于又找到长孙无忌、褚遂良、于志宁等人会谈。李为了躲避，找了个借口请假没去上朝。长孙无忌表情严肃，眉头紧锁，仿佛在等待着暴风雨的来临。他知道，今天的早朝不同往常，也许关系到朝廷和他本人日后的命运，昨天晚上，他秘密将韩珍和褚遂良召到自己的府第，几乎一夜未眠。
褚遂良趁着平明时分浓浓的秋雾，悄悄地来到长孙无忌身边，他告诉长孙无忌，就在半个时辰之前，他获悉了大将、长安令裴行俭被迁谪外地的消息，裴行俭掌握着京城的御林军，现在突然被贬也许透露出一个不详的信号。
以官阶而言，都督府长史和长安令都是正五品。现在不只是从京官贬为地方官，裴行俭被贬的地方是西州，也就是被唐朝所灭的高昌，位于海拔四千三百多米的天山山脉南麓的盆地，是当时唐朝最西的边境不毛之地。
长孙无忌听到裴行俭被贬的消息，内心的震动可想而知。几个月前宰相柳奭被迫辞职，现在又走了一个裴行俭，看来武昭仪已经在一步步向自己逼近。
自从武氏14岁入宫以来，他从来没把这个女人放在眼里，一切就像是在梦里，肉体上最初不起眼的小疖在不经意间已经长成了巨大的毒瘤，搞不好随时会要了自己的命。
第二天又召开了同样的会议，与会者除了昨天的三个人外，司空李称病没有参加。当高宗皇帝再次提出废立问题时，双方发生了冲突。这次长孙无忌没有亲自出面，而是让褚遂良站出来与高宗皇帝直接叫板。
也不知道褚遂良当时是怎么想的，居然弃“先帝遗命”这个法宝不用，也不再极力维护王皇后，而是直接将矛头指向了高宗身后的武昭仪。
褚遂良说：“陛下如果一定要更换皇后的话，那么就请您从天下的名门世家中选一个嫔妃出来，为什么一定要选武氏呢？武氏曾经侍奉过先帝，世人都知道。天下人的耳朵和眼睛怎么能够遮挡。后世的人又会怎么评论陛下，请陛下三思！臣今天冒犯陛下，罪当处死！”
接着，褚遂良把笏往台阶上一放，解开头巾，叩头如捣蒜，直到血流满面。他慨然说道：“把笏还给陛下，请陛下批准老臣辞职回家吧。”
褚遂良用如此激烈的方式违抗圣意，这让满朝文武大臣都没有想到。即便是高宗皇帝也大感意外，惶惧不安。时间犹如凝固了一般，太极殿内鸦雀无声，笼罩着死一般的岑寂。高宗皇帝也尴尬不已，一张失血的脸庞显得更加惨白，半天没有说出一句话。
正当君臣相顾、不知如何收场的时候，突闻珠帘之后一个尖厉的女声响起，像一把破空而出的利箭穿透每个人的心脏：“何不扑杀此獠！”把这个老东西给我拉出去杀了！
说话之人，不是别人，赫然竟是武昭仪。武则天当时只是一个普通嫔妃，竟敢隐身帘后旁听君臣议政，而且在朝堂之上公然发作要求高宗皇帝扑杀顾命大臣，何等狂放。
武昭仪话音刚落，早有两名武士上前，拽住了褚遂良的双臂。王皇后当年将武氏从感业寺接回宫中，算是成全了高宗与武氏的乱伦之恋。其实整个过程都是暗中操作，是见不得阳光的。如今因为王皇后失宠而面临被废，当日丑闻居然被褚遂良当着这么多人的面广而告之，说什么“众所共知”，不能再“蔽天下耳目”。
褚遂良的狂放之言与泼妇骂街无异，如同在大庭广众之下揭人丑事，骂人“狗男女”，这让高宗与武昭仪极为难堪。骂他们还不够，还波及到武氏祖宗门第，语气流露出士族的自我优越感，这对武昭仪来说，是极大的侮辱与挑衅。
长孙无忌凛然一惊，仿佛从昏睡中突然被窗外的雨声惊醒。他没有想到小昭仪居然会偷听君相之间的谈话，会直接过问皇帝与大臣议政，由此可见，武氏这时候已经权势在握。
从朝议开始到现在，长孙无忌一直在内心告诫自己不要唐突从事，以免在危急关头罹下大祸。可是眼下他已不能不有所表示了。他的语调和仪表已全无往昔的镇定、从容，犹若有一股无形的力量正在钳制着他的咽喉。高宗皇帝内心的怒火就差将朝堂点燃了，当下命令殿前武士将褚遂良拖出殿外。
长孙无忌被迫站了出来，他说：“褚遂良就算有罪，可身受先帝遗命，不可施以刑罚……”长孙无忌的辩解之语还是有一定道理的，可听上去像是在喃喃自语，又像是在为自己的命运哀告，显得软弱无力。现场除了褚遂良用迷惑不解的眼神看着他，朝中群臣和高宗皇帝谁都没有注意到他。
长孙无忌感受到了巨大的挫败，他没有想到，自己与幕帘之后的那个女人尚未交锋就已经落荒而逃。一种难言的耻辱向他的内心袭来，但他并没有想到，自己已经没有多少时间来扭转败局、洗刷耻辱了。
褚遂良被两名侍卫拖出去之后，高宗宣布退朝。第二天，尚书右仆射、河南郡公褚遂良被调为潭州（今天的湖南省长沙市）都督。
褚遂良这个时候正值一甲子之年，60岁。他知道自己要为自己的冲动行为负责，可他没想到这么快就要离开长安，心里无限凄凉。他知道，这次左迁后，恐怕此生再也难以踏足长安。斯人已逝，太宗时的君臣相知相契早已不复存在。
褚遂良突遭贬职，给了长孙无忌致命的一击。那日，褚遂良在太极殿上满脸血迹地进谏时，长孙无忌为其求情，褚遂良是先朝一老，不可轻易用刑。他还准备让褚遂良先在家中休息两天，有合适机会再一起进宫面圣。
双方都被现实逼至悬崖边，没有任何一方会轻易退让。高宗皇帝如果退让，就意味着永远都无法摆脱长孙无忌、褚遂良的深度控制；而长孙无忌和褚遂良如果退让，就会让太宗皇帝的才人成为高宗皇帝的皇后。
如果废后立武成为现实，那么作为朝廷头号重臣的长孙无忌不仅对不起太宗皇帝，也无法面对天下人的流言汹汹。