在殷浩遭受弹劾贬为平民以后，接替他职位的是王羲之同族的一个侄辈子弟王述。王羲之向来十分看不起这个趋炎附势、见风使舵的小人，现在却要在他手下为官，这叫王羲之怎么忍受得了？两人虽同为王氏子弟，但因性情各方面很不投契，关系也处理得很不愉快。王羲之在官场上虽不是左右逢源，但他勤政爱民的声誉早已传开，成为朝廷标榜自身形象的楷模，其学识才华在社会上也享誉盛名，所以起初王述对王羲之还是十分容忍，甚至还想巴结、拉拢他。
王述做会稽郡太守，因为母亲过世，便住在本郡守孝。王羲之接替他做了会稽郡太守后，只是礼节性地去吊唁了一次，不再去第二回。守孝的王述每次听到号角的声音，总以为是王羲之前来拜访自己，都要做一番大扫除，以等待王羲之的到来。这样的情况持续了好几年，王羲之一次也没有光顾王述住处。王述因此心里老大的不痛快，对王羲之的高傲怀恨在心，逢人就说：“我身为他的长官，他至少应该礼貌性地拜访我一次呀！何况我每次听说他要经过，都郑重其事地准备着要招待他，他对我视而不见，简直就是蓄意侮辱嘛！”。
有人把这些话转告给王羲之，并劝王羲之说：“他既然如此地看重你，而且又是你的顶头上司，何不专程去拜访一下呢？至少也可以让他面子上好看些。”
王羲之十分不屑地说：“我才不愿和那‘痴儿’在一起呢，更不要说去拜访他了。我可不想因为要让他面子好看而失了我自己的面子。”
这话传到了王述的耳朵里，把王述气得咬牙切齿，他对朋友说：“这可恶的东西！仗着自己有一点名气，竟然敢这样蔑视我，要是不给他一点颜色看看，那我这个长官还怎么做得下去？真是敬酒不吃吃罚酒，咱们走着瞧，看到最后是谁失了面子！”
等到王述被任命为扬州刺史，上任之前，遍访郡内名流，就是不去王羲之家，只是临出发的时候匆匆道了个别。
此后，王述常常故意到王羲之管理的会稽郡去视察，说是视察，实际上就是故意找茬儿，鸡蛋里挑骨头，每次都要弄得主办人员焦头烂额、全郡鸡飞狗跳才罢休。
有一次，王述来到郡府官署借口检查储存的粮食，王羲之只好带着有关人员陪着王述到城北的粮仓去。一路上，王述指着道路说：“这条路怎么凹凸不平的，你们是怎么搞的？国家花了那么多经费，结果就修成这个样子，真不像话！下次我来时这种情形一定要改善，听到没有？”王羲之看他那种盛气凌人的神情，心中真不是滋味，但又不能发作。
到了粮仓，管仓的人打开了仓门，请王述进去察看。王述大咧咧地走了进去，王羲之和其他大小官吏也跟随其后。只见王述用手在窗槛上抹了一下，马上大叫起来：“啊呀！这么厚的灰尘，像什么话！这里的管事整天都在干什么，光拿薪水不做事吗？你们这里也散漫得太不像话了！”然后又用手指着堆积如山的一包包米粮道：“这些米包是谁堆的？乱七八糟，下次一定要改进！”
王羲之和手下的大小官吏早已气得脸色发青，这哪里是视察，简直就是无理取闹嘛，长期下去可怎么受得了？但王述是长官，在这么多下属面前，王羲之也不好和他争辩，只好把这口闷气憋在心里。
王羲之心想：“这个痴儿不会善罢甘休，只要在他的手下一天，就要受一天这样的气，干脆跟上面申请把我调到其他地方，只要脱离他的管辖就好了。”
下定决心以后，王羲之立刻上书请调越州。这份请调的公文自然要经过王述，王述看到了这份公文，冷笑了一声说道：“想走？没这么容易，谁让你当初那么骄横，装清高。现在知道怕了吧，哼！现在你就受不了，好戏还在后头呢！”
王述把公文压下来后，放出消息说：王羲之或许有些什么把柄，怕被王述抓到，想趁着事情尚未被揭发之前一走了之。这种谣言被一些趋炎附势的小人所利用，拿来攻击和讥笑王羲之，王羲之认为这种情形如果继续下去，自己一定会被弄得身败名裂。他时常对他的几个儿子说：“我一点儿不比王述差，但是职位却比他低很多，难道是因为你们不如他的儿子吗？”
在当时，还有一件可怕的事情正在酝酿着，那就是各大家族间的斗争将会越来越尖锐和明朗化，结果必将导致国家衰亡。腹背受敌的王羲之此时并没有看出。
原来东晋政治势力上拥有决定性力量的四大家族王、谢、袁、萧中的王氏一族，自从丞相王导、大将军王敦相继去世后，力量顿显单薄，而谢姓家族的力量却慢慢地崛起了，渐渐地有取代王氏的野心。一直以来王氏当初的势力太大，压得其他的各姓家族抬不起头来，现在力量减弱了，各姓正好乘机而起。因此，王氏家族的人渐渐地受到排斥和敌视，谢姓家族开始联合其他家族的势力，准备要取代王氏家族的地位了。
王羲之曾对族人说：“国家由谁来主持政治都无所谓，只要他确实有才能，能为国家百姓谋求福利，不管他姓什么，我都会拥护他。”
族人反驳王羲之说：“你别忘了你也姓王，如果有人想消灭我们，你的下场又会如何？难道你要站在敌人的阵营吗？”
王羲之很沉痛地回答说：“国家局势如此不安，国内政治又是如此地不稳，归根结底一句话，那就是大家太自私，动不动就分‘你们’‘我们’，一个国家还分这么多的派系，而且每个派系都想独大，想尽办法去消灭其他人，这样子下去，国家怎么能安定呢？”可是除王羲之之外，有这种眼光的人在当时似乎一个也看不到。