平定了徐敬业之乱，武则天进一步加强了对宗室的清洗，同时鼓励民间告密，大搞酷吏政治，将李唐宗室杀戮殆尽，其幼弱幸存者亦流岭南，又诛其亲党数百家。
成百上千的大臣和宗室因此遭到屠杀或流放。
狄仁杰就在这样的背景下出巡江南了。
因为民心厌战，随着徐敬业在高邮惨败，义军就已一蹶不振，没多久就风消云散，迅速解体了。而关于徐敬业的下落，根本就是个无法破解的历史之谜，查无可查。所以，狄仁杰到了任上，工作重心已经不在对付徐敬业义军之上了。但狄仁杰也不是无事可做，在江南，他竟然做出了一件惊天动地的事来。
且说，吴、楚地处长江下流，水患严重，且林茂草长，毒虫猛兽繁多，山中瘴气缭绕，自古以来自然灾害多，所以当地人对乱力怪神情有独钟，花、树、果、瓜、茶、酒、牛、马、蛇，以及山川、土地、风雨、雷电、日月、星辰、城池、门灶等无不备有神祉，许多历史人物也被奉为神明，如周郝王、夫差、项羽、春申君、赵佗、吴子胥、马援等。另外，凡稍有点风吹草动的灵异传闻即建祠厚祭，即所谓的“好巫鬼、重淫祀”。
早在前几年，高宗将驾临位于晋地的汾阳宫，并州（治今山西太原西南）长史李沖玄认为高宗所经之路有一妬女祠，当地传说凡有车马从祠前经过必会招致风雷之灾，奏请高宗改道规避。狄仁杰大不以为然，反对李冲玄说：“天子行幸，千乘万骑，风伯清尘，雨师洒道，何妬女敢害而欲避之？”对李沖玄拟动用大量人力物力修御道之事进行大力弹劾，并要求朝廷责令其把妬女祠毁掉。
现在，看到江南遍地淫祠，狄仁杰忧心忡忡，深感民风颓陋，不仅劳民伤财、空耗物力，而且淫祀容易滋生邪教，不利于社会治安。为了树新风、建正气。他经过深思熟虑，毅然决然下令捣毁各地的淫祠。
命令一下，旬月之间，竟毁千七百房，当真是势若风雷。
狄仁杰不过一地方官员，竟做出了这样霸气十足的壮举，其气概，足可以与历史上灭佛帝王“三武一宗”相提并论。而他所遇到的压力之大，也可想而之。
楚地人崇拜霸王项羽，民间盛称“项羽庙入内者必死”。
为了彰显自己言出必践、令出必行的决心，狄仁杰重点拿项羽庙开刀。
为此，他还专门写了一篇拆庙檄文——《檄告西楚霸王文》，其文大意如下：
英雄豪杰的大名不应该以谬传谬，国家神器不可以凭借暴力而得到，能知天乐命者，就应该懂得成人之美，逆潮流而动只能自取灭亡。秦始皇横御宇内，吞噬诸侯，威势赫赫。结果，赵高当轴，蒙恬齿剑。先有沙丘公子扶苏被谋之祸，后有望夷宫二世胡亥被轼之变，社稷倾覆，万姓屠原。鸟儿思静于飞尘，鱼儿却岂能安于沸水？汉祖刘邦，应时而出，受命玄穹，得上天垂青、赤帝眷顾，已显龙兴之兆。你项羽潜游泽国，啸聚水乡，恃扛鼎之雄，逞拔山之力，不知天命之所至，不知历数之有归，终有垓下之败。这，并不是上天非要灭亡你，而是你不识好歹、咎由自取，徒然驱使百万之兵，换来的却是丢弃八千之子，成为了后人鉴戒的往事，可惜呀可惜！假若当初你能匿魄东峰，收魂北极，又怎么会落得这般下场？如今狄仁杰受命抚镇一方，为维持治安，特遣人焚燎祠宇、削平台室，使蕙绵销烬，羽帐随烟，你项羽若上天有灵，请速速迁离此地，勿为人患。檄到如律令。
平心而论，这篇檄文写得还是很有气势的，可惜立意陈旧，通篇充斥着君权天授的宿命色彩，思想落后、腐朽，殊无可称道之处。但其反对个人崇拜、蔑视神灵的勇气和决心却也跃然纸上，全然一副有恃无恐的架势，倒也鼓舞了江南百姓焚毁淫祠的勇气和斗志。
对狄仁杰这次的焚祠行动，明清交替之间的著名学者王夫之大赞道：“是举也，疑夫轻率任气者亦能为之，而固不能也。鬼神者，即人心而在者也，一往而悍然以兴，气虽盛，心之惴惴者若或掣之，昧昧之士民，竞起而挠之，非心服于道而天下共服其心者，未有不踟躇而前却者也，故曰赫然与日月争光者也。”盛称狄仁杰的壮举堪与日月争光。
史书没记录狄仁杰焚毁淫祠的细节，但其遇到的压力是可想而知的。
民间奇闻野史倒是附会了许多荒诞不经的故事，补充完善了这一空白。
《广异记》就记载了一则关于狄仁杰焚毁淫祠的故事。
狄仁杰巡抚江南期间，已将江岭神祠，焚烧略尽。某天，他来到端州，发现了当地有一座高大雄伟的蛮神庙，也想烧毁它。然而，派去的人刚一入庙就口吐白沫，气绝身亡。狄仁杰悬赏一百千钱，招募能烧毁此庙之人。有两个人前来应募。狄仁杰问：“你们入庙有什么需要？”两人答道：“想借用皇帝给你的任命书。”狄仁杰便把任命书交给他们。这二人拿着任命书来到庙门口，口称奉皇命而来，随即开门而入，当着神像宣读起任命书的内容。那神像纹丝不动。两人读毕任命书，四下放火，很快将庙烧毁。不久，狄仁杰回到汴州，有长阴阳眼、可以观察到鬼的道士对他说：“你的身后有一个蛮神，说他的房舍被烧了，常常想寻机报复。”狄仁杰淡然问：“他怎么一直不动手啊？”道士说：“那是因为你背后还有二十多个神灵护体，他难以下手。时间长了，也就回到岭南去了。”
《太平广记》卷三九三也收录了一则，说：
代州西面十多里处有一株大槐树，被巨雷所击，中间裂开好几丈长的口子，因此将雷公夹住了。雷公夹在树缝间，挣扎不出，又痛又急，吼声连连、雷震阵阵。狄仁杰带着宾客和随从前去观看。快要到达事发现场，听到雷声震耳，众人都纷纷惊退，不敢再向前走。狄仁杰公然不惧，单骑劲进，迫近了大树，高声询问雷公这是怎么回事，雷公回答说：“树里有个孽龙，天帝让我把它赶走；但因我击下的位置不佳，被树夹住了，如果能够将我救出，我一定重重地报答你的恩德。”仁杰让木匠把树锯开，雷公才得以解脱。从此之后，凡有吉凶祸福之事，他都预先向狄仁杰报告。
再说回狄仁杰的毁祠运动，在这场运动中，他没有搞一刀切，全盘否定，而是有所选择。
其中，夏禹、吴太伯、季札、伍子胥四类祠堂就不在焚毁之列。
也就是说，对于这四个历史人物所留下的功绩和影响，狄仁杰还是持肯定态度的。
要知道，夏禹是个治水拯救苍生的英雄人物，其对中华民族的功绩不容抹杀，百姓修庙祭祀，是对祖先的追思和尊崇；而吴太伯是传说中吴国的始祖，他的后代季札则是吴国的大贤人，江南人民建祠供奉其香火属于尊祖，无可厚非。
比较有意思的是伍子胥。此人原是楚人，因为父兄被楚平王杀害而投入吴国，穷毕生精力于灭楚报仇的事业之中，一朝攻入楚都郢城，掘楚平王墓，鞭尸三百，震惊世人。而吴国也因得伍子胥的辅助，破灭强楚后，又北败徐、鲁、齐，称霸一方。吴王阖闾死，儿子夫差继位，吴军屡胜越国。伍子胥建议彻底消灭越国，夫差听信奸佞谗言，疑心伍子胥别有所图，赐剑赴死。伍子胥慨然拔剑，对左右说：“我死了，请将我眼睛挖出悬挂在吴京之东门上，以见证越国军队入城灭吴。”
不难看出，伍子胥是个私心极重的人，在他心里，家的地位远高于国，家庭遭受了国家的不公正待遇，就会背叛国家，甚至要不惜一切代价进行报复，必欲将这个国家毁灭而后快，就算这个国家已经毁灭，并且流血漂橹、尸骨成山也不足惜，为一泄私愤，即便死人也不肯放过，掘地三尺，鞭尸三百，才称心如意。
从某种程度上来说，伍子胥的所作所为，并不地道，其行动之恶劣，其性质之严重，似乎和后世的大汉奸吴三桂有得一比。
然而，秉承忠义和正直之气的狄仁杰却能对伍子胥的祠堂网开一面，显然是对伍子胥的行为有一定的认同感，认为他的人格魅力远高于项羽、春申君等人。
为什么会这样呢？
破解这一点，就等同于破解狄仁杰人生的最大密码。
孔、孟的儒家之道要求君主“以德治国”、“以德服人”。而对于君臣应该如何相处，孔子说：“君使臣以礼，臣事君以忠。”强调君臣间必须互相尊重，互相扶助。而孟子说得更直白：“君之视臣如手足，则臣视君如腹心；君之视臣如犬马，则臣视君如国人；君之视臣如土芥，则臣视君如寇仇。”甚至，孟子进言，国君如果不施行仁政，人民就应该把他流放。他还说，人民杀昏暴之君不叫杀君，而叫“诛一夫”。
也许，在深受孔、孟的儒家思想熏陶的狄仁杰看来，楚平王肆意杀害伍氏一家，坊间还传出过他和儿媳妇乱伦的秽闻，这样的君主，乃是无道昏君，对这样的无道昏君就应该打倒，而伍子胥助吴灭楚的行为则是正义之举，所谓“君之视臣如犬马，则臣视君如国人；君之视臣如土芥，则臣视君如寇仇”是也。反过来说，吴王阖闾那是“君使臣以礼”、“君之视臣如手足”，则“臣事君以忠”并且“臣视君如腹心”，伍子胥从此忠心事吴，并且矢志不移，至死不渝，不但是大孝之人，也是大忠之人。
也就是说，狄仁杰内心深处所尊崇的“忠义”，并不局限于某一特定对象，而在于社会的稳定、人民的安居乐业。
在对待武则天篡唐改周的态度上，很快也印证了这一点。