上元二年（675），狄仁杰被调人长安（陕西西安）任大理寺承。这是他首次充任京官，也是他人生的一个转折点，从此狄仁杰以自己卓越的才干，不凡的政绩，一步步地登上高位，为人们所注目与赞颂。尽管在以后的政治生涯中，仍有曲折和起落，但狄仁杰必定已不再是默默无闻的地方小官吏，他的刚直果敢、德才兼备的直臣形象在朝野上下留下了深刻的印象。一旦风云散去，便又重新获得重用和信任狄仁杰任职的大理寺是国家的最高司法审判机关，大理寺的地位虽不算高，仅为从六品上，但却是一个十分重要的职位。按照唐朝制度，大理寺置永6人，分别掌管本寺日常事务，并负责审判断罪之事。狄仁杰在这一职位上做出了骄人的成就，令当时人及后世称道不已。唐朝的大理寺下设有监狱，用来关押待审的罪犯，如果大理寺审案迟滞或疑难案件较多，监狱往往就会人满为患。狄仁杰上任的那年，就碰到这样的情况，大理寺积压旧案颇多。他不辞辛劳，日以继夜，一年之内就将历年积压的旧案审理一清，同时也没有影响新案的及时审理，共计审理17余人，无一人诉冤，“时称平恕”唐朝对官员有较严格的考课制度，每年考核一次，称小考，三四年举行一次大考。这年负责京官考课的是尚书左仆射刘仁轨，他没有详细了解大理寺的情况，认为狄仁杰是新任官员，就将大理寺所上报的中上等给否定了。大理卿张文灌认为此事不公，向刘仁轨提出异议，刘仁轨问狄仁杰审理了多少案件，张文灌回答说一年审理了17人，刘仁轨大惊，为自己失察而深疚，便把狄仁杰的考课等级提为上下。唐朝的考课等级共分九等，上下为第三等。当时考课标准掌握很严，“人多者不过中上，未有得上下以上者”狄仁杰在担任京官的第一年，就取得如此引人注目的政绩，使他很快就崭露头角，为以后仕途的通达，创造了良好的条件。
次年九月，左威卫大将军权善才、左监门卫中郎将范怀义在负责守卫唐太宗的昭陵时，因陵园面积广大，一时分辨不清，误伐了昭陵的柏树。此事本来并不为高宗所知，因为飞骑（禁军）中一军士违反军法，被权善才依法惩处，此人心中怨恨，利用番休之机人长安请求高宗召见，痛哭流涕地反映了权善才等人砍伐昭陵柏树之事。高宗听后于分震惊，“悲泣不自胜”高宗8岁时就失去了亲生母亲长孙皇后。由于他幼年性情软弱，又早早失去母爱，所以太宗对他十分爱怜，关怀备至。16岁时立为皇太子，太宗对他更加关心，朝夕相处，言传身教，甚至以吃饭、骑马、乘舟等生活琐事为例，对高宗进行教育，传授政治经验。太宗所倾注的这种深深的父爱，使高宗终生难以忘怀。现在竟然有人敢于砍伐自己父皇陵园的柏树，在高宗看来无疑是大逆不道的行为，不可容忍，必欲置之死地。
高宗下诏逮捕了权、范二人，送大理寺严加惩处。大理寺审理后，依法判处免官除名，高宗认为处罚太轻，要求判处死。大理寺内无一人敢于出面抗争，惟有狄仁杰上表反对，认为权、范二人罪不当死。高宗亲自召见狄仁杰，对他说：“权善才砍伐我父皇陵上柏树，使我陷于不孝。我知卿是好法官，请一定将权善才等人处死”狄仁杰固争不已，高宗勃然变色，狄仁杰的顶头上司张文灌见皇帝动了真气，惟恐狄仁杰吃亏，以毓挥之令出，狄仁杰依然不动，苦苦进谏说：“犯颜直谏自古以为难事。臣以为不然，在莱、封之时则难，逢尧、舜之时则不难。臣有幸今逢尧、舜，所以不怕像比于那样被诛杀往昔在汉文帝时，有人盗高帝（刘邦）庙玉环，文帝欲处以灭族之罪，经张释之当廷抗争，罪止弃市。魏文帝欲流放一人，辛毗牵据（衣襟）而谏，最终反倒使此人得以任用。对圣明的君主可以以理进谏，对忠臣不可以威势进行胁迫。今日陛下不纳臣言臣死之后，羞见张释之、辛毗于地下。”古人云：“假使盗长陵一杯土，陛下何以加之，”今日陛下以昭陵一株柏而杀二将军，千年之后，人们将会如何评论陛下！臣所以不敢奉诏杀权、范二人，就是怕陷陛下于不道。狄仁杰的这番话有理有节，又十分注意方式，处处为高宗着想，使高宗既难以反驳，又不便再动怒。在这种情况下，高宗无法据理以争，只好改变方式，他对狄仁杰说：“依据法律权、范二人虽不至于死罪，然情不可容。我深恨二人，请卿法外杀之”狄仁杰说：
“陛下制定法律，公布于天下，徙、流、死等刑，均有相应的律条规定，岂有犯轻罪而处以极刑的道理，如果不依法定罪，恐怕将会使万民无所措手足。陛下假如一定要改变法律，那就请从今日开始吧。”高宗当然清楚随意改变法律的影响，无奈之下只好放弃自己的主张，权善才、范怀义二人因而得以免死。
后来高宗冷静下来，对狄仁杰说：“卿能守法，联有法官”，并下诏命史官把此事编人国史。他还说：“仁杰为善才正联，岂不能为联正天下耶！”通过这件事使高宗对狄仁杰的胆识和才下更加赏识，于是便授予狄仁杰侍御史之职。侍御史与大理水虽然都是从六品下的官员，但前者却是所谓清要之宫，“掌纠举百僚，推鞠狱讼”，职事更加重要。狄仁杰在侍御史任上忠于职守，多次向高宗进谏，高宗也言无不从。有——次，狄仁杰进谏完毕后，高宗笑着对他说：“卿得权善才便也。”这虽然是一句玩笑话，却反映出高宗对狄仁杰心无嫌隙、完全信任和倚重的态度。