纪晓岚守制期满回到京师，因为虎坊桥的旧宅尚未赎回，一家人便暂时居住在钱香树先生的空宅里。
钱陈群，生于康熙二十五年(1686)，卒于乾隆三十九年(1774)，字主敬，号香树，又号柘南居士，嘉兴人。康熙时进士，官至刑部侍郎。他与纪晓岚交谊很深。纪晓岚督学福建，路过嘉兴时，还曾准备访问他，写有《舟至嘉兴拟谒乡树先生》，其中有“溯洄伊人无限思，一见挑灯眼定明”之句，表达了对香树先生的怀念之情。纪晓岚返回京师时，钱香树先生因为疾病的缘故回归故乡嘉兴修养，京师的寓所空闲，纪晓岚一家人便暂时借住其中。
钱宅因为有一段时间无人居住，纪晓岚一家住进以后，就听人传说屋子的楼上有狐仙居住。钱宅面积很大，楼上老是锁着，里面堆满了杂物，也没有人去看情况到底如何。纪晓岚是个幽默风趣之人，他听到这一消息后，很感兴趣。于是，在楼上的壁上戏粘一诗：“草草移家偶遇君，一楼上下且平分。耽诗自是书生癖，彻夜吟哦莫厌闻。”
一日，姬人到楼上开锁拿东西，到楼上一看，大呼怪事。纪晓岚听到呼叫，赶紧上楼。发现楼上地板上画满了荷花，茎叶苕亭，具有笔致。他更加惊奇，赶紧找来纸笔，又在壁上粘上一首诗：“仙人果是好楼居，文采风流我不如。新得吴笺三十幅，可能一一画芙蕖？”纪晓岚又将此事告诉了裘文达公(曰修)，他听了以后，笑道：“钱香树家里的狐仙，本来就应比别家的狐仙雅致嘛！”
裘曰修，生于康熙五十一年(1712)，卒于乾隆三十八年(1773)，字叔度，又字漫士，新建人。乾隆四年(1739)考中进士。曾经担任过礼部、工部、刑部尚书。在治理江河方面颇有建树。因为其谥号为“文达”，所以，又称他为“文达公”。他比纪晓岚年长十余年，又是纪晓岚的授业老师，对纪晓岚十分关心。返还京师后，纪晓岚受命续修《通志》，裘曰修将自己珍藏多年的《通志》作者郑樵的砚赠送给他，希望他也像郑樵那样，写出一部能流传久远的史学着作。对此，纪晓岚颇受鼓舞。铭其砚曰：“惟其书之传，乃传其砚。郁悠乎予心，匪物之玩。”表明了自己的心迹。
乾隆三十三年(1768)，朝廷拟让纪晓岚补授贵州都匀府知府。乾隆帝则认为纪晓岚之所长在于学问，而不在于为政，外出为官难以发挥他的才干。所以晓谕有司，命加四品衔，留任左春坊左庶子。四月，又擢翰林院侍读学士。
这年春天，纪晓岚替人题《蕃骑射猎图》。诗歌写道：
白草粘天野兽肥，
弯弧爱尔马如飞。
何当快饮黄羊血，
一上天山雪打围。
这本来是一首题画诗，就画作诗，并无深意。但是，令人不解的是，就在这年的八月份，纪晓岚被谪贬到西域，正好与诗歌中的：“何当快饮黄羊血，一上天山雪打围”句暗相应合。这岂不是他自己遭贬谪的谶语吗？
果然，七月份，纪晓岚身陷盐案。八月份，纪晓岚因为徇私漏言，被革职遣戍乌鲁木齐。
纪晓岚所谓的“徇私漏言”，指的是“两淮盐引案”东窗事发时，纪晓岚私自将朝廷拟查处江淮盐运使之事私下里透露给了他的姻戚卢见曾，使之早作准备。当朝廷官员前来查处时，卢见曾预先知道，已作准备，结果朝廷官员一无所获而归。此事令乾隆帝大伤脑筋，推测其中肯定有人泄密，最后追查到纪晓岚头上。按照大清刑律，纪晓岚是要遭杀头的，但乾隆帝因为惜才，才下令从轻处罚，改为谪贬乌鲁木齐。
为了更清楚地了解纪晓岚遭贬谪的原因，有必要介绍一下“两淮盐引案”的过程。
在中国古代社会，盐是一种由政府控制的重要商品，也是封建经济的重要来源。官府主要通过“盐引”从中获利。所谓“盐引”，指的是朝廷发给盐商准许他们经营盐务的凭据。清朝以来，政府专门在产盐的省份设立盐政、运使等官负责办理盐政事务。从盐商手里收取的交易手续费也称“盐引”。按照当时的规定，每二百斤盐得提取银盐三两。两淮盐政每年至少收缴二十多万两银盐，多时达到五十余万两。这是一个很大的数目，也是当时官员腐败的渊薮。
“两淮盐引案”起于清朝官员尤世拔出任两淮盐政的乾隆三十三年(1768)。据史料记载，尤世拔上任以后，风闻盐商积弊，居奇索贿，未能得逞。于是便向上奏称：
“上年普福奏请预提戊子纲引，仍令每引交银三两，以备公用，共缴贮运库银二十七万八千有奇。普福任内，所办玉器古玩等项，共动支过银八万五千余两，其余见存十九万余两，请交内府查收。”
朝廷接到尤世拔的奏章以后，立即产生怀疑。因为此项银两，历任盐政，并未奏闻，便私行支用。检查户部的档案，也无造册派用文册。而且，自从乾隆十一年(1746)提引后，二十年来，银钱数已经超过千余万两，其中显然有蒙混欺蚀情弊。于是，秘密地派遣江苏巡抚彰宝会同尤世拔详细清查。经过调查核实：历年预行提引，商人交纳引息银两，共计一千九十余万两，均未归公。前任盐政高恒任内，查出收受商人所缴银至十三万两之多；普福任内，收受丁亥纲银私自开销者八万余两，其历次代购物件，见端开者，不计其数。乾隆帝得彰宝的奏报，大为震怒。下令革职查办所有涉嫌官员，并特别指示“将卢见曾原籍赀财，即行严密查封，无使少有隐匿顿寄。”(《清高宗实录》卷八一三，乾隆三十三年六月下。)
卢见曾，生于康熙二十九年(1690)，卒于乾隆三十三年(1768)，字抱孙，号雅雨山人，山东德州人。康熙六十年(1721)辛丑科进士。形貌矮瘦，不拘小节，时人称之为“矮卢”。他为人豁达，海内名彦都愿意与之交往，曾“筑苏亭于使署，日与诗人相吟咏，一时文胜于江南。”纪晓岚与卢见曾为姻戚。卢见曾的孙子卢荫文是纪晓岚的长女婿。平素两家多有往还。据《高宗实录》、《东华续录》等文献记载，这时候，纪晓岚在朝中担任侍读学士，“常直内廷”，对于朝廷查处两淮盐引之事，“微闻其说”，特别是此案牵涉到卢见曾，他更是心急如焚。六月十三日，纪晓岚见到女婿卢荫文，告知两淮盐务有小菜银两一事，现在查办。卢荫文则于六月十四日派遣家人送信回家。
不久，卢荫文又见到郎中王昶。王昶告知他朝廷所办的并非小菜银两一事，乃历年提引事发。随即他又雇人回家送信。后来又见到刑部司员黄骏昌，传说高恒已经被查抄家产，其叔卢谟心惧胆怯，于六月二十七日回家。卢见曾因此“先得消息，藏匿赀财”，当清廷官兵前往家中查抄时，“卢见曾家产仅有钱数十千，并无金银首饰，即衣物亦甚无几”。
关于纪晓岚“漏言”之事，民间还有一些更加生动有趣的记载。据说纪晓岚得知朝廷将要查盐案之事，十分着急。心里充满着矛盾：想要通知卢家，又惧怕此事牵涉到自己，引火烧身；不告知此事，又昧不过自己的良心。为了此事，他辗转反侧、彻夜难眠。最后，他想出了一个两全其美的办法：用一个空白的信封装了一点食盐和茶叶，连夜派人送至卢家。卢见曾收到纪晓岚送来的信，打开一看，只见里面没有一个字，只有一点茶叶和盐。开始他很纳闷，惊愕不解。细细地揣摩，他马上顿悟出来：这空白的信中隐含着“查(茶)盐(盐)”的玄机。于是，他马上行动，将剩余的赀产转移到别的地方。等官兵查抄家产时，其财产已经所剩无几。
当查抄的官员将查抄的结果上奏朝廷时，乾隆帝十分震惊：“查封卢见曾家财廷寄于六月二十五日弛发，而初次查办此案谕旨并未传抄，伊家何以早得风声，于十一、十八等日豫先寄顿？其中情节甚属可恶，岂有旨未到而外人已知之理”，下令“必须严切究审。”(《高宗实录》卷八一四，乾隆三十三年七月上。)经过仔细地调查侦缉，终于发现纪晓岚等人为“漏言之人”。
纪晓岚很快被软禁起来。在押期间，纪晓岚生死未卜，心里焦躁不安。
有一姓董的军官声称自己能够拆字，为之占卜命运前程。他将信将疑，顺手书写了一个“董”字。
姓董的军官仔细看了看字形，说：
“公远戍矣，是千里、万里以外。”
纪晓岚又写了“占”字请他拆。
“下为口字，上为外字偏旁，是口外矣。日在西为夕，恐怕是在西域”。姓董的军官回答说。
“将来能回来否？”纪晓岚问道。
“其字形类似君召，召则必然赐环也。”
“何年能召环？”纪晓岚又接着问道。
“口为四字之外围，而中间缺两笔，大概不足四年。今年为戊子，四年后为辛卯，夕字卯之偏旁，也是相合的。”
纪晓岚虽不太相信，但心想如今犯了大罪，这次恐怕是难得宽赦了，要是硬着头皮不招，一旦案情被查明，那将是死罪一条！我不如见风使舵，或许能从轻发落，至多遭受贬戍之罪。不久，刘统勋等又奏报审讯卢见曾隐匿家财一案的处理意见，说先后查出卢见曾的门生候补中书徐步云，其亲戚翰林院侍读学士纪晓岚，军机处行走中书赵文哲，军机处行走郎中王昶，擅自泄漏机密，照例拟徙；其刑部郎中黄骏昌口传消息，已经革职。乾隆对这些处理建议批示说：“徐步云和卢见曾是师徒关系，遇到这种重大案件，竟然私通信息，以至于卢见曾将家产转移他处，情节恶劣，发往新疆伊犁效力赎罪，其余的就按照所议办理。”
据说，第二天，乾隆召见纪晓岚问话。
“微臣纪昀，叩见皇上。”纪晓岚说。
“嗯，站起来回话。”乾隆皇帝清癯的面孔上，挂了一丝冷峻的神情。他捋了捋稀疏的胡须，慢吞吞地说：“你的儿女亲家卢见曾，亏空公帑，按律应予籍没，你可知道？”
“微臣知道。”纪晓岚答道。
“可是奉旨到卢家查抄的人，发现他已家无长物，资财已转移到别处去了，挪用的公帑，也在查抄的前夜如数补上。朕看在你的面上，格外开恩，从轻治罪。”
“谢万岁爷隆恩！”纪晓岚跪下磕头。
乾隆接着说：“纪昀，你才学过人，忠心事朕。朕对你也垂爱已久。据报，这次是你泄的密，有无此事？你如实奏来。”
“圣上明鉴，臣实未曾有一字泄密。”纪晓岚脸上带着微笑，但十分谨慎地为自己辩解。
“案情已经调查得很明白，”乾隆说，“你虽未写一字、未传一言，但事实俱在，人证确凿，掩饰也无用。朕要知道的是你究竟用什么办法，将这些事泄露给卢见曾的？如实招来，朕可以从轻发落。”
纪晓岚看自己再否认也无益，索性坦承其事，便把如何通知他亲家的经过说了一遍。
乾隆一面听，一面频频点头。
这时纪晓岚自动摘下顶戴，跪在地上奏道：“皇上严于法，合乎天理之大公；臣惓惓私情，犹蹈人伦之陋习。臣请圣上发落！”纪晓岚的话虽然不多，但讲得十分得体，乾隆听了脸上浮现出笑容。皇上念纪晓岚才华难得，又在内廷走动多年，不忍加戮于他，便在案卷上批下几个小字：“纪昀从轻谪戍乌鲁木齐。”
关于纪晓岚泄漏盐案的途径，还有另外一种说法。
据李伯元《南亭笔记》记载，当查抄卢家的消息传出时，纪晓岚正在内廷，不知如何通报，忙把他的小儿子叫到身旁，在他手上写了个“少”子，叫他赶去卢家，以掌中的字给卢见曾看。卢见纪晓岚小儿子的手上写一个“少”，顿悟手字加“少”为一“抄”字，于是急忙做准备。
此说当然也是表现纪晓岚的机智，但从实情看，可能性很小，因为纪晓岚的小儿子无职衔，不能随便入宫。此外，卢家远在山东德州，距离遥远，纪晓岚的小儿子无人相伴，也无法成行。所以，这也只是想象附会而已。
纪晓岚作为一名罪人将发配到新疆，在那里经受岁月的洗礼。同是远行，这次到边塞地方，与他督学福建时情景是全然不同了。纪晓岚与家人见面，才得知八十岁的卢见曾已经死在狱中，与此案有牵连的，共有一百多人获罪，被处斩的即有二十多人。
纪晓岚虽幸免一死，但此时心中有一种说不尽的凄凉之感。
在亲友的帮助下，纪晓岚将家眷安顿好，准备在中秋过后，只身出塞服罪。这段日子里，一家人愁眉苦脸，不胜悲哀。此去关山万里，何日才得平安归来，实在难以预料。有些人就此一去不返，埋骨异域了。人生世事变化无常，纪晓岚慨叹不已，不断想起董某为他拆字时说过的话，他是多么希望能够全部应验啊！他有些相信命运了。他想：“冥冥之中，造物主对万事万物已做好了安排，谁也逃脱不了啊！”但同时他又疑惑不解，若说董某的话已经初步应验，那自己的话不也是同样能够应验吗？他想起春天曾经替人题画的事情来。
那幅画是一个朋友画的，画名叫《番骑射猎图》，只见塞外秋日围猎的景象，跃然纸上，看了让人心胸开阔、豪情满怀。于是他欣然答应朋友的请求，在画上题下了一首七言绝句：
白草黏天野兽肥，
弯弧爱尔马如飞。
何当快饮黄羊血，
一上天山雪打围。
这首诗他题过就忘了。如今事隔半年，自己当真要谪戍新疆，“一上天山雪打围”了。
在为纪晓岚送行的家宴上，郭姨太流着眼泪说：“老爷，是我害得你落到这步田地，听人说新疆那个地方苦极了，不光不产粮食，就连蔬菜也没有，吃的都是羊肉炒蘑菇，如果你吃腻了，就给你换个样儿，改成蘑菇炒羊肉。听说那儿净是沙土，天天风刮黄土，吃饭的碗里都有半碗沙土。这样的日子，老爷你怎么受得了哇！”说罢呜呜地哭了起来，家人们也跟着坠泪。纪晓岚虽然心里也很难过，但为了安抚家人的心，却哈哈地笑道：“你这话说错了，我虽然吃了官司，却无性命之忧，可是救了卢亲家一家人。如不是这样，他们一家男的被杀了，女的被官卖为奴，那时我们比这还要难过呢。”停了一下，又说：“况且古人有云：读书万卷，行路万里。我万卷书是读了，可万里路还没走。前几年去了一趟福建，长了不少知识，可是还不够一万里，再去一趟新疆，就差不多够一万里了。你们应当为我庆贺才对。来来来，干杯！哈哈哈哈……”由于纪晓岚的巧言劝说，家人的心情也就轻松多了。
中秋节刚过，纪晓岚就与家人洒泪而别，以戴罪之身，束装起行了。一路西行，荒山大漠，莽原丛岭。纪晓岚在差役的押解下，风餐露宿，备极艰辛，心中苦闷难熬，一直思念家中的妻子儿女，怅惋世事无常，人生艰难。不过，一路风景倒给了他几分享受。西出玉门，他饱览了“衰草连天”和“大漠孤烟直”的塞外景象，觉得古人的描绘和自己以前的想象，终究不如眼前展现的真切丰富，更深切地体会到“醉卧沙场君莫笑”的凄怆悲壮的心态。
在前往新疆的路上，虽然辛苦，但由于纪晓岚家中有钱，一路之上，不断买些酒肉请两个解差，又不时给他们买件衣服，买双鞋子，因此两个解差高高兴兴，不但不来恐吓、刁难纪晓岚，反而给他拿行李，使纪晓岚轻松了许多。他们一路之上，饥餐渴饮，晓行夜宿，顶风冒雨，走了几个月。
纪晓岚到达乌鲁木齐时，大将军温福还在乌鲁木齐都统任上。他俩在京城时就有过交往，彼此敬重，情谊深厚。温福闻报押解犯官纪晓岚来充军，感到十分意外，赶忙派副将把纪晓岚接到都统府，及时批了收文，将两个解差打发走，并设宴为纪晓岚压惊。
从宋朝时候起，对充军发配的人，当地地方官是很有权力的。可以找个借口，把你杀了；可以任意分配给你苦役；也可以分配给你轻松活计，并能以军功保你为官。所以温福对纪晓岚，既可视为阶下囚，也可待以上宾之礼。
温福对纪晓岚关怀备至，嘘寒问暖，使纪晓岚感激至深。