汝佶到了泰安，起初尚让人满意。等到后来，他从友人那里见到了《聊斋志异》的抄本，一下子就被其深刻的思想内容、高超的艺术手法和动人的故事情节迷住了。《聊斋志异》重要的主题之一，是暴露封建政治的黑暗，谴责贪官暴吏、土豪劣绅压迫劳苦百姓的罪行。尤其震撼汝佶心灵的是那些讽刺科举制度的作品，使他完全丧失了科举入仕的兴趣。
当时，《聊斋志异》尚未刊行，汝佶看到的也是抄本，但他爱不释手，便不分昼夜地抄录起来，并模仿着写了一些此类借谈狐说鬼、志人志怪来表达人生理想的作品。
汝佶二十五岁时，就是纪晓岚离家的第二年，在泰安患病亡故。
噩耗传至京城，马夫人和郭姨太都昏厥过去。汝佶虽非郭姨太所生，但他是纪家的长子，郭氏也十分疼爱他。同时，他又是在纪晓岚离家之后走上黄泉路的，郭氏觉得更加难以推卸自己的责任。她觉得假如他父亲在家，他怎么会那样消沉颓唐，以致误入歧路、亡身异地呢？她认为自己是个罪人，要不是她生的女儿出事，纪家怎么会有这样的灾难呢？这样一来，她忧虑过度，加上一天到晚的辛劳，终于积劳成疾，病倒在床榻之上。辛卯年过后，闻朝廷已下诏，赦免纪晓岚的罪过，郭氏的病情才始见好转，但不久病情又剧。
乾隆三十五年(1770)，也就是纪晓岚到达乌鲁木齐的第二年冬天，乌鲁木齐提督要在吉木萨设后营。就在纪晓岚忙着筹划设营的时候，一道将他赦还回京的谕令正飞快地递向乌鲁木齐。
当时从北京到新疆有专门的军台路，沿途有若干军台营塘、驿站、卡伦。京都与边疆之间政令、军令和军需供应线畅通无阻，谕令的传递十分快捷。
转眼新年来到，过了除夕就是辛卯年，纪晓岚于辛卯年得以赦还，倒也正应了董姓军官当年的预言。
谪戍遇赦是天大的喜事，驻守乌鲁木齐的将士和纪晓岚的僚友们自然要为他庆贺一番。在为纪晓岚送行的宴会上，有人于酒酣耳热之际，唏嘘不已地提起城北关帝祠上的一首诗，这首诗萧索悲凉，催人泪下，道出了滴戍人的无限心境：
雄心老去渐颓唐，醉卧将军古战场。
半夜醒来吹铁笛，满天明月满林霜。
人们纷纷议论说，这首诗的作者不知是谁，据说是仙人之作。
此时的纪晓岚当然是心情畅快。他向大家说破一个秘密，这首诗不是出自什么仙人之笔，而是他纪某所作。众人听了怅然有所失，叹惜这样一位高才就要舍他们而去了。
这诗原本是纪晓岚写给毛副总兵的。有一天这位姓毛的老将军向纪晓岚倾述了自己在边陲征战戍守多年的经历，使纪晓岚顿生同是天涯沦落人的感怀，于是赋诗一首。可惜毛将军是个武人，并不懂诗，纪晓岚也没留稿。后来，同年杨逢元来访。杨是安徽六安人，此时正在乌鲁木齐任虎峰书院山长。文人相会，谈诗论文，纪晓岚提起这首诗。杨逢元听者有意，不但把它默记于心，还把它题写到关帝祠楼上，但没署姓名，正好当时有位道士打关帝祠经过，这诗于是被传为仙人所作了。
乾隆三十六年(1771)二月初一，纪晓岚治装东归，套上几辆马车，装上衣物、书籍，带上几个仆人。临出门时，一位翟姓举人送给他的一只小黑狗恋恋不舍地跟着他，轰也轰不走。于是，纪晓岚把这条叫做“四儿”的小黑狗也带上了路。
东归的路程并不好走，沿天山南路行走，过大风区，又过达坂山口，山路险峻。一路上，四儿忠实地陪伴着纪晓岚，不仅给他消除寂寞，而且看护行装非常严厉，只要人一靠近，它就直立起来，愤怒地狂吠乱咬。如果不是纪晓岚亲自到场，仆人们休想取出东西。
一天，纪晓岚一行走到辟展(今鄯善县)地界的七达坂，此地有七重险坡，称为天险，车辆行走缓慢。眼看着天黑了下来，纪晓岚一行的四辆车，两辆已翻过岭北，另两辆还在岭南，只得就地歇息。这一下可难为了四儿。只见它独自蹲到山岭上，左右兼顾，看护两边的车辆。发现哪边有可疑的响动，就飞跑过去巡视一番。
回想起当初离京西行之时，奴仆于禄在天将下雨的时候，自顾自藏匿自己的衣服，如今这只狗却如此忠诚，纪晓岚不禁无限感触，遂写下两首诗：
归路无烦汝寄书，风餐露宿且随予；
夜深奴子酣眼后，为守东行数辆车。
空山日日忍饥行，冰雪崎岖百廿程。
我已无官何所恋，可怜汝亦太痴生。
走到巴里坤附近，碰上天降大雾。老仆咸宁十分疲乏，坐在马鞍子上睡着了。这匹马无人驾驭，信步沿着野马的蹄迹走进乱山之中。待咸宁醒来，已找不着出山的路了，心想这下肯定活不成了。忽然他发现山崖下有一具躺卧的尸体，原来是逃亡的流犯冻死在这里，尸体的旁边还有一包行囊和一些干粮。咸宁向尸体下拜说：“我掩埋你的尸骨，你要有灵请引导我的马出山。”他把尸体搬到一个岩洞里，运来碎石将洞口砌死，惘惘然信马而行。行走十来天后，忽然找到了出山的路，走出来一打听，已经到了哈密地界。想起哈密的游击徐某与纪晓岚熟识，咸宁于是投奔徐游击的官署，在那里等候。两天之后，纪晓岚赶到哈密，主仆相见，恍如隔世。
对于纪晓岚来说，从巴里坤到哈密也是道路难行。自从走过巴里坤后，地上冰雪融化，道路一片泥泞，必须等到夜深地冻后才可以行走，白天则在馆舍歇息。“旅馆孤居，昼长多暇”，两年来的所见所闻浮现脑海，纪晓岚的诗情潺然奔涌。他“追述风土，兼叙旧游”，“自巴里坤至哈密，得诗一百六十首”，“意到辄书，无复诠次，因命曰《乌鲁木齐杂诗》”。
《乌鲁木齐杂诗》是一组绚丽中蕴激昂，平易中含凝重的旋律，多民族国家的统一和强盛便是它高亢的主调。《乌鲁术齐杂诗》又仿佛一幅色彩绚烂、满壁风动的边陲风俗长卷，画卷上，纪晓岚以“大清气象”为底色，以西北边陲的安定、统一和繁荣为主色凋，或挥洒或工描，多层次、多侧面地对当时的新疆加以激情描绘。
农耕经济在塞外的发展，是乾隆盛世时新疆经济生活中的雄浑篇章。纪晓岚在《杂诗》中声色并茂地描绘了塞外农业的一幅幅鲜活的图景：
秋禾春麦陇相连，绿到晶河路几千。
三十四屯如绣错，何劳转粟上青天。
从乌鲁木齐到晶河(今精河县)，一片葱绿，田陇相连，如同锦绣交错铺设在塞外，这是何等生气勃勃的画面。
新稻翻匙香雪流，田家入市趁凉秋。
北郊十里高台户，水满陂塘岁岁收。
这是一幅丰收的图景，其间盈溢着农家的欢欣。在这首诗后，纪晓岚特作注云：“高台户所种稻米，颇类吴杭”，可见塞外水稻栽培已达到较高技术水平。由于新疆地广人稀，再加清政府积极鼓励开垦，新疆农民“人无徭役，地无丈量，纳十亩之税，即可坐数百亩之产”。因此，“农家多就水灌田，就田起屋”，“往往自筑数椽，四无邻居，如杜工部所谓一家村者”，其生活富有特殊韵味：
鸡栅牛栏映草庐，人家各逐水田居，
豆棚闲话如相过，曲港平桥半里余。
粗犷的塞外风光由此平添一番江南的妩媚。
在新疆蓬勃的经济生活中，商贾是一支活跃的力量。清廷积极鼓励内地商人前往天山南北进行贸易，凡商人愿意出塞者，“即给予印照，毋使胥吏需索”。纪晓岚在《杂诗》中便多方面地描述了商贾们在新疆的贸易活动。据纪晓岚考察，当时活跃于新疆的大贾“皆自归化城来，土人谓之北套客。其路乃客赂蒙古人所开，自归化至迪化仅两月程”。这样一来，就“省却官程三十驿”，大大加快了入疆贸易的行程。在新疆，这些北套客倍受欢迎，他们风尘仆仆，既带来新疆人颇感新鲜和陌生的关于外部世界的消息，又能满足因边疆与内地宏大经济交流所滋生的新的时尚需要。如远在塞外的新疆人“不重山肴重海鲜”，对“蟹黄虾汁银鱼鲞”一类海产品颇感兴趣，而“一切海鲜皆由京贩至归化城，由北套客转贩而至”，故“北商一到早相传”。吐鲁番以盛产水果着称，“然土人惟重内地之果”，商贾们针对当地流行的新嗜好，将大量内地水果运至天山南北，以获取高额利益。纪晓岚在《杂诗》中对此番情形生动地加以描画：
红笠乌衫担侧挑，频婆杏子绿蒲桃，
谁知只重中原味，榛栗楂梨价最高。
在蓬勃兴盛的贸易活动中，商贾们把敏感的触角伸向新疆生活的各个侧面。“天下粮价之贱，无逾乌鲁木齐者。”巧于心机的商贾从内地与新疆巨大的粮价之差中窥见到可图巨利。他们往往当“二三月间田苗已长”时，“以钱给农户，俟熟收粮，谓之买青”。由于聚居于天山南北的大量中亚、西亚居民嗜饮，内地来的酒商也十分活跃，他们投其所好，开起座座酒店，“一路青帘挂柳阴”。每岁当酒商们东归时，“率携银二三万去”。
经济的发展、文化的交往是文教事业勃兴的有力杠杆。“迪化、宁边、景化、阜康四城，旧置书院四处，自建设学额以来，各屯多开乡塾，营伍亦建义学二处，教兵丁之子弟，弦诵相闻，俨然中土。”与此种情形相适应，书商也开始活跃于新疆。纪晓岚在《杂诗》中记述道：“初，塞外无鬻书之肆”，故“郑樵《七音略》谓‘孔氏之书不能过斡难河一步’”，“间有传奇小说，皆西商杂他货偶贩至”。“自建置学额以后，遂有专鬻书籍者。”纪晓岚欣然地关注新疆文化生活中出现的新趋向，并作诗咏唱道：
山城是处有弦歌，锦帙牙签市上多。
为报当年郊渔仲，儒书今过斡难河。
文教事业的兴盛，潜移默化地改变了新疆人传统的价值观念：土俗以卒伍为正途，以千总、把总为甲族。自立学校，始解读书。从“以卒伍为正途”到“始解读书”，看来平平淡淡，然而，这一转变却潜藏着文化质的巨大变易，昭示着精神启蒙的开启。
“戍屯处处聚流人，百艺争妍各自陈。”纪晓岚以浓酣的兴趣抒写新疆文化的开发，更以独具的学者慧心去注视和描述塞外流人在新疆生活中所扮演的文化角色。诚然，因罪获谴、谪戍塞外的流人在新疆处于社会最为卑下的层次，但他们来自文化传统深厚博大的中原，具有高于塞外人的文化素养以及多姿多彩的才能。而这一切，在纪晓岚饱含热情的笔端下，表现得淋漓尽致：一位名叫方正的流人精于修表，“携得洋钟才似栗，也能检点九层轮”。来自贵州的夏髯善于酿酒，“携得江南风味到，夏家新酿洞庭春”。把总茹大业则酿醋有方，诚所谓“茹家法醋沁牙酸，滴滴清香泻玉盘”。流人中擅长演戏说书者，更是不乏其人。如“遣户孙七能演说诸稗官，掀髯抵掌，声音笑貌，一一点缀如生”，俨然塞外柳敬亭。“刘木匠以旦擅场”，“红粉青娥闹扫妆，仿佛徐娘风韵在”。“简大头以丑擅场，未登场时与之语，格格不能出口，貌亦朴僿如村翁。登场则随口诙谐，出人意表，千变万化，不相重复，虽京师名部，不能出其上也”。“遣户何奇能以楚声为艳曲”，其销魂夺魄的演唱使“四座衣裳涴酒痕”。“遣户中又有能昆曲者”，“以杭州程四为冠”，他们的表演使“越曲吴歈出塞多”。在“地炉松火消长夜”的孤寂中，流人艺术家的表演抚慰了多少人的心灵，“消除多少乡关愁”。他们那豪放、乐观、质朴、单纯，不为生活的屈辱所压倒，反而在命运的蹇落中迸发出才干和光彩的文化品性，不仅使他们自身获得前所未有的美的价值，而且赢得纪晓岚和后来人对他们油然而生钦佩之心。
经济的开发，文化的发展，从来是生活丰富多彩的原动力，乾隆盛世的乌鲁木齐在纪晓岚的笔下满盈欢笑地向我们走来：“廛肆鳞鳞两面分，门前官书绿如云。”“江西蜡，虞美人，万年菊”，“朵似巨杯”，万紫千红，把乌鲁木齐装扮得十分娇艳。“割尽黄云五月初，喧阗满市拥柴车。”丰收时节的乌鲁木齐，粮车拥道塞途，人头攒动的喧嚷流溢出农夫丰收的欢悦。“凉州会罢又甘州，箫鼓迎神日不休。”乌鲁木齐城内，“诸州商贾各立一会，更番赛神”，好不热闹。城南城北的酒楼，“日日演剧”，“数钱买座，略似京师”。酒楼通宵达旦的“玉笛银琴”，使夜色中的乌鲁木齐于边陲风貌中平添中原都市的神韵。塞外丰盈的生活，吸引来内地“游民鬻技者”，“马解妇女亦万里闻风而赴”，献技塞外：
桃花马上舞惊鸾，赵女身轻万目看。
不惜黄金抛作埒，风流且喜见邮郸。
当风和日暖之时，乌鲁水齐“空中千百(鸽)为群，铃声琅琅”，其情景明朗动人。
节日的乌鲁木齐更是热闹非凡。除夕之夜：
犊车辘满长街，火树银花对对排。
无数红裙乱招手，游人拾得凤凰鞋。
塞外元夕灯船之戏亦与内地仿佛：
摇曳兰桡唱采莲，春风明月放灯天。
秦人只识连钱马，谁教歌儿荡画船。
“绛蜡荧荧夜未残，游人踏月绕栏干。”乌鲁木齐的元宵灯谜“亦同内地之风”，而灯谜的奥妙无穷有时竟连博学如纪晓岚者也无法猜答，他只有吟喃道：“迷离不解春灯谜，一笑中朝旧讲官。”
“箫鼓分曹社火齐，灯场相赛舞狻猊。”中原舞狮习俗也在塞外流行开来。在孤木地屯和昌吉头屯的元夕舞狮赛中，“狮忽喷出红笺五六尺，金书‘天下太平’字，随风飞舞，众目喧观”。元夕的欢乐顿时达到高潮。
这种具有盛清气派的“一统之极盛”是十八世纪中华民族生长的主旋律，更是中华文化共同体在未来岁月中屹立于世界民族之林的历史根柢。《乌鲁木齐杂诗》歌咏祖国边陲的安定、繁荣和统一，与盛清的时代精神息息相通，由此获得独具深厚的美学价值和文化价值。
《乌鲁木齐杂诗》是纪晓岚诗创作上迸发异彩的一个高峰。他早期为应试而作的试帖、馆课类诗，虽有其“纪家诗”的个性特点，毕竟摆脱不了“极工”而“体卑”的窠臼。在帝王身边作的恭和、呈进等馆阁诗，纵然属才思敏捷之作，也无非是点缀浮华，取悦君主。即使视学福建所作的风日清华的《南行杂咏》，抒发的也不过是个人情怀。而这组《乌鲁木齐杂诗》则满盈执着的爱国之情、深沉的历史意识以及强烈的时代感，从而成为纪晓岚思想中颇具光彩的篇章。电视剧《铁齿铜牙纪晓岚》告诉人们的是纪晓岚能言善辩、机智善谐的一面，而《乌鲁木齐杂诗》则见证纪晓岚并非仅仅是铁齿铜牙。
《乌鲁木齐杂诗》也是乌鲁木齐的历史见证。晚清以降，新疆多次陷入战乱。同治年间，阿古柏入侵乌鲁木齐，乌鲁木齐遭到严重破坏，地方档案几乎无存。《乌鲁木齐杂诗》以及《阅微草堂笔记》中的相关记载成为后人了解乾隆中期乌鲁木齐历史的权威资料。而纪晓岚也成为深受乌鲁木齐人民尊敬和怀念的一位历史人物。