这句话等于是当面抽了嘉靖皇帝一记响亮的耳光，皇帝的小宇宙当时就爆发了，他喝令夏言立马退出宫苑。夏言面无惧色，迎着皇帝的怒火而上，他傲然说道：“须有旨，乃可行！”想让我滚蛋，你得有旨可依。
嘉靖皇帝示意廷尉赶快将夏言赶出自己的视野，君臣之间形成顶牛之势。与此同时，嘉靖皇帝下令大臣们入值西苑时，都要按照道士的习惯骑马，不准坐轿。可夏言根本不理会，依然是坐轿进出西苑。
严嵩见时机已经成熟，便打算公开向夏言发动攻势。有一天，嘉靖皇帝单独召见严嵩，与他谈到夏言，并问及两人之间的关系。严嵩先是假装害怕地沉默不语，待嘉靖皇帝追问得紧，他立刻仆倒在皇帝脚下，颤抖不已，痛哭流涕。
严嵩这个状告得可真有技巧，他并没直接说夏言不戴这个“香叶冠”是对嘉靖皇帝的不尊敬，而是像小孩诉委屈一样说夏言欺负他。嘉靖皇帝见六十多岁的严嵩竟然哭得如此伤心，料想他一定受到莫大的委屈才会至此。严嵩充满戏剧性的表演，果然收到了令他满意的效果，皇帝动了侧隐之心，对夏言更添愤恨。
也就在此事过后不久，帝国的天空出现了一次日全蚀。古人迷信，认为天象的变化与世事、时政有着必然的联系，而太阳是帝王的象征，日蚀则寓意奸臣佞人当道遮蔽了帝王的光芒。严嵩乘机陷害夏言，说放眼帝国能够遮挡皇帝光辉的人只有一个人，那个人就是夏言。天象已经做出预警，如果皇帝不尽快处治夏言，帝国将陷入危险的境地。
嘉靖皇帝本来就十分迷信，经过严嵩这么一说，更加深信不疑。嘉靖二十一年（1542年）六月，嘉靖皇帝下旨将夏言免职，遣返老家。夏言的离去，最直接的受益者当然是严嵩。第二年，作为次辅的严嵩就如愿以偿地取而代之，登上了帝国的首辅之位。
夏言的离去让严嵩更加肆无忌惮，时间一久，嘉靖皇帝有所察觉。三年后，夏言再度重返权力高层，仍为首辅，严嵩再次退居次辅。
夏言的卷土重来是有备而来，他对严嵩实施了一连串的报复打击。经此一劫，他对严嵩这个人看得更为透彻。凡是严嵩决定的事，全部推倒重来；凡是严嵩安插的亲信，也一个不留地将其排挤出权力的要塞部门。严嵩对此也是毫无办法，只得打掉牙往肚子里咽。
在严嵩担任首辅期间，将自己的儿子严世蕃安插在朝庭一个机要部门——尚宝司。严世蕃得此肥缺，大肆捞钱。
严世蕃是个比他父亲更加妖孽三分的人物，尤其在那些文学家的笔下更是极品。明朝小说家冯梦龙所著的《情史》中有这样一个故事。严世蕃在家中养了一些美女，一吐痰就让这些美女用嘴去接，严世蕃把这些用嘴为他接肮脏之物的女子叫“香盂”。由此可见，在时人的心目中，严世蕃是个多么恶心的人。《明史》记载，严世蕃的模样与他的内心世界一样丑陋不堪，“短项肥体，眇一目”。没脖子，大胖子，还瞎了一只眼，俨然就是一个怪胎似的人物。
《明史》记载其“由父任入仕。”作为“官二代”，严世蕃没有经过科举考试就直接进入官场。当然，外表丑陋的严世蕃并不是一个草包。如果他参加科举考试，高中的几率还是非常大的。因为他的文采并不输给他的父亲，严嵩为嘉靖皇帝写的青词有很大一部分是出于严世蕃之手。
直到严世蕃贪污受贿的把柄被夏言抓在手里，父子二人才慌了神。严嵩领着儿子双双跪倒在夏言面前，哀求夏言能够放他们父子一马。其实夏言在这里要的就是这样一种态度，也就是挽回丢失的面子。他见严嵩已经服软，心理就得到了平衡，此事也就算过去了。严嵩轻松过关，可内心对夏言的仇恨却愈发强烈。
为了将夏言彻底打垮，永无翻身之时，严嵩一直在寻找着最后的机会，一个能够置夏言于死地的机会。嘉靖二十五年（1546年），陕西总督曾铣提出武力收复河套的方案，以解决蒙古人后裔鞑靼在河套地区的威胁。嘉靖皇帝刚开始也是倾向于支持这个方案的，但明英宗以来，帝国军队已经被蒙古人给打怕了。由此对于武力收复河套，嘉靖皇帝一直犹豫不决。
需要在这里指出的是，曾铣是夏言一手提拔上来的，算是夏言权力集团圈子里的人。
在当时内阁的权力纷争已经进入一种白热化状态，阁臣之间纷争不休，并且拉帮结派，互相吹捧或攻讦倾轧，形成朋党势力。朝臣一旦有机会入阁，便可以上通天子，下视群僚。他们为了巩固自己的尊荣显贵之权位，就要学会网罗党羽，培植帮派势力。
严嵩之所以有把握利用这件事置夏言于死地，还有一个重要原因，那就是夏言的岳父和曾铣私下里是很好的朋友。夏言在这件事上让自己的岳父作为中央和曾铣之间的联系人，这么做等于是犯了帝国公共事务操作规则的大忌，也就是官员的亲人和家属不能参与朝政。
严嵩通过宦官里的内应了解到嘉靖皇帝并不敢下收复河套的最后决心，就在皇帝摇摆不定的时候，严嵩适时抓住这个节点，乘机诬告夏言与曾铣内外勾结，借收复河套谋取私利，从而陷帝国于危难。
严嵩能够充分利用这次机会，主要得益于皇帝身边的宦官送出来的情报。明代中后期，一部分无耻的士大夫纷纷倒向宦官的怀抱，形成一个阉宦与官僚相结合的怪胎——阉党。
由于朱元璋废除相权，他的那些继任者日常处理朝政，主要依赖两大机构。一是外朝的内阁，二是内朝的司礼监。两大机构分工明确，内阁虽有票拟之权，但具有决定意义的批朱则“权在天子。”而实际执笔批朱的并非皇帝本人，而是司礼监。
在激烈的权力斗争中，不是被对手打倒，就是被政敌置于死地。历史的规律向来如此，一个权力高层的垮台，往往会牵连一大批官员被贬谪或者遭杀戮，以至党祸接踵而至，弄得国无宁日。明朝皇帝只给内阁以有限的权力，却放纵阉宦为所欲为，让其充当维护皇权的爪牙鹰犬。严嵩能够执掌柄政二十余年，就在于他懂得“巧为迎合，结诸阉人，”，也就是千方百计结交那些当权的宦官。
与严嵩的百般逢迎权阉集团不同的是，夏言在宦官面前常常摆出颐指气使的傲慢姿态。按照《明史》给出的说法，夏言在担任首辅期间，根本没有把内宦放在眼里。平日里皇帝派宦官到夏言家中传话，夏言都会端着首辅的架子，视他们为奴才（负气岸奴视之）。可想而知，那些在人格上备受屈辱的宦官在返回宫后，能放过夏言。本来已经失去皇帝的欢心，最后又遭来严嵩和宦官的内外双重诬陷，夏言不垮台才是怪事一桩。
嘉靖二十七年（1548年），曾铣先是以误国通敌的罪名被抓起来。当时，夏言正在出差往回赶的路上，闻听曾铣被抓的消息。他的第一反应是仰天长叹：“噫！吾死矣！”这次，我是死定了。
这时候，夏言已经意识到在这场高层权力博弈中，他已经彻底败在了严嵩的手里。直到这时候他才算真正看清这场政治斗争的实质，不是简单的利益之争，而是性命攸关的生死博弈。这时候的他还能做些什么呢？嘉靖皇帝派来抓他的锦衣卫已经出发。
这一年，帝国本无大事。兵部侍郎曾铣被拟以“交结近侍官员律”处死，屈斩于北京西市。几个月后，夏言也同样被处斩于西市。在临刑前，夏言的生命遗言让人唏嘘不已：“我有志恢复河套，实欲尽犬马之忠，不虞至此。”
一个堂堂帝国宰辅，还有一个总督陕西三边军务的兵部侍郎，就这样以莫名其妙的误国罪成为这场政治斗争的祭品。据《明史》记载，曾铣死得确实冤枉，在他死后，家里连一分钱脏钱都没有。作为一名武官，不克扣粮草、不虐待士兵，还一天到晚想着为朝廷收复河套，如此死法不免让人心寒。
帝国高层的血色争斗使得朝野上下大为震动，等到夏言人头落地，夏、严之争才算尘埃落定。严嵩就此取代夏言，成为嘉靖朝权势熏天的内阁首辅。
夏言在临死前曾经上疏嘉靖皇帝，指出是严嵩陷害于他。以夏言当时的地位，突然被严嵩扳倒，而且遭到的不是什么勒令退休或者罢官之类的命运，而是身首异处，满朝官员为此震惊。夏言集团的轰然倒下，无异于在帝国的权力系统发生了一场八级以上的地震。虽然明眼人都能看出来，在此之前夏言在权力角逐场上已经在走下坡路，可他们万万没有想到这种下坡路会急速地滑向死亡地带。严嵩取代夏言之后，那些闻着权力血腥味就一拥而上的廷臣们纷纷转投严嵩。