老夫人听不真切，让肖绮婉写在纸上讲给她听。肖绮婉听声泼墨，挥毫成诗，对老夫人说：“学士以诗赞叹这葡萄美酒名扬天下，醇香之美早为世人所知，不必重提，但又赞它色气俱美，酒汁细腻而又谐和不混，与蜀中所出的鹅黄美酒一样声誉大振。据此笔锋一转又引出江南的名酒，采取新的酿酒工艺，使本来有名的洞庭春色这种酒，更加闻名于世。”
老夫人听了啧啧称赞：“学士见物吟诗，一连写出各地的名酒，足见才思敏捷，广闻多见，实在是了不起啊！”老夫人说完将一块鱼肉夹给纪晓岚，纪晓岚细细品味，一字一句地吟道：凯渡河鱼八尺长，分明风味似鲟鳇。
西秦只解红羊鲊，特乞仓公制脍方。
老夫人听后仍然不解其意，又令肖绮婉展纸书写。此时的肖绮婉似醉非醉，胸臆涛涌，情绪昂扬，趁兴挥笔，以狂草写出的诗大有动势之感，仿佛是个男子大手笔的深厚沉稳、龙筋鹤骨的书法大作，使人观后，顿生气吞长虹的气魄与伟势。纪晓岚十分欣赏，连连称赞：“好书法，笔走龙蛇，动若凤舞，实在是不亚于书圣王羲之的《兰亭序》。”
老夫人观后也频频颔首，称赞自己的侄女大有长进，她说：“这字写得真好看、真有劲，好像每个字都能飞起来。”
接着老夫人又让肖绮婉解释诗意，肖绮婉说：“这来自凯渡河的新疆鱼体长八尺，十分庞大，它的鱼味如同出自江河与大海之中的硕大鲟鳇鱼。乌鲁木齐一带只会理解并懂得腌制羊肉，而不知更好的食鱼技艺，希望仓大使施出烹制此鱼的绝技，公开造福于民。”
老夫人顿悟地点点头，说：“学士为何对这种鱼知道的这样清楚，又懂腌肉之法，更知烹鱼的仓大使？”
纪晓岚轻松而有兴味地说：“我到这里，不仅看了有关新疆物产与民俗的书，而且亲临街市，访问贩鱼的商人，了解腌肉的方法，观看了仓大使姚焕烹鱼的技术，因而了如指掌，赋诗自然水到渠成。”
老夫人夸他：“你真是个有心人呐！”纪晓岚刚想开口说话，忽觉肩头沉重，扭头一看，肖绮婉竟然醉倒在他的身旁，脑袋斜倚在他的肩头，令他心头一热。
纪晓岚赶紧把肖绮婉扶回她的卧室，放到床上，给她盖好被子，让她安然歇息。他看着她嫣红的脸庞，不忍离去，便坐在一旁看起屈原的《天问》。
过了不久，忽听得肖绮婉在梦中说道：“你别怕，你别因为自己是流犯就离开我，我不会连累你，我永远跟随你……”
纪晓岚放下书，近前一看，只见她面颊有泪，便轻轻地给她擦掉，又低下头，十分爱恋地吻了她一口，心中暗忖：“好一朵美丽的睡莲啊！”
等她安稳地睡实了，他才放心地离开她，辞别了老夫人，踏着清冷的月光，走回自己的家。
从此以后，纪晓岚隔三见五去到老夫人的家里与肖绮婉谈诗写诗，说古论今，抚琴弈棋，观赏她泼墨绘画，俩人相互勉励，切磋探讨，眼界大开，无论诗品抑或学问，俱都百尺竿头，更进一步。
随着时间的推移，数月之后，他们已是情深意切，难舍难分。
终于有一天，他们暗结伉俪。
根据当时的规定，遣犯流放异地，不得任意纳妾。纪晓岚本有妻室，也不敢随意张扬。肖绮婉考虑到纪晓岚的处境和前程，不想让他授人以柄，引火烧身，便决定不公开行婚庆大礼，也不公开以夫妇而论，仍旧分居，暗中连理，以尽人欢。
对此，办事大臣和同知哈文虽也听说，但也充耳不闻，予以庇护。他们都觉得他俩是一对才子佳人，只有玉成美事方觉心安，至于其他概不过问，装作根本不知。
不知不觉已是春暖花开，绿树吐叶。办事大臣决定给纪晓岚重建住宅，让同知哈文领他去选定宅地。
这一天，风和日丽，纪晓岚和哈文来到乌鲁木齐城北高地（即今日的乌鲁木齐市第一中学所在地），鸟瞰全城，所有的景致历历在目。纪晓岚眺望南北东西，发现城西靠近城墙有一片绿树葱郁的空地，似有墨染成蜃之感，他认为那里是一块风水宝地，便决定到那里一看。
他同哈文到此地观看，那片林木十分茂盛，杂草丛生，虫吟鸟鸣，一渠流水穿林而过流向城外，煞是幽雅。
此地往东便是香火正旺的城隍庙（即今日的新中剧院所在地）。往北东折即是官府大衙之处。往南是商贾聚居之地。往西则是临近大河的沙滩，间有各种杂树和灌木丛。
此地往北不远正好又是肖绮婉所住的官宅。他心想：若在毗邻肖宅的地方建起住宅，正好可以与肖绮婉来往方便，不正应了天赐红绳、姻缘命定的说法吗？！于是他决定在此选地建宅。
回去之后，他又摆开卦书，自测自卜，竟是上上大吉，便更加坚定了信心。他与孟剑秋和英杰一商量，二人十分高兴。他又报喜于肖绮婉，肖绮婉欢喜雀跃，拍手叫好。
纪晓岚激情难抑，随即写出一首诗：
山围芳草翠烟平，迢递新城接旧城。
行到丛祠歌舞榭，绿氍毹上看棋枰。
当肖绮婉把诗意讲给老夫人，老夫人不住嘴地笑着，笑完后，随口说：“这叫苍天有眼，不误良缘。办事大臣让你建新宅，莫非有意成就你俩的婚事？”
老夫人一句话说得他们一时无语，相对而望。正在这时又传来一声呼唤，纪晓岚不禁纳闷。
纪晓岚循声望向门口，原来是英杰转告他说同知哈文找他商议要事，让他立刻就去。纪晓岚辞别了老夫人和肖绮婉，和英杰一起走了。
哈文要纪晓岚把选定的建宅地址和建筑式样绘制一图，并写出建宅报告，交给他。纪晓岚到那树林草地又仔细观察了一番，决定房屋和院门坐北朝南，并绘出了住宅图，写出呈文交给哈文，哈文小做修改，又报文办事大臣，办事大臣审批后，下达哈文，立即建宅。
经过筹备之后，由官府出面，开始了紧张的建宅施工。破土之前，举行了旨在敬奉土地神的仪式，鞭炮炸响，以示逐魔祛邪，建屋吉祥，福禄永在。
建宅期间，纪晓岚随同办事大臣和同知哈文视察了主要屯区昌吉、米泉、吉木萨尔、玛纳斯等地以及乌鲁木齐近郊一带的屯田，了解了生产情况和民俗人情。
随后又远涉伊犁、阿尔泰等地，并南去喀什一带采风录闻，收集了大量的资料，进行了实地考察，开扩了眼界，丰富了见闻，为他著书立说创造了良好的条件。
归来之后，新宅早已建好，纪晓岚欣赏之后，十分欢喜，仔细观察，却又发现屋顶无瓦，仅以麦草和泥而盖，显得与房屋的前壁不甚和谐。这是当地筑屋的习俗，因地而宜，他也并不十分计较，又是自己的房屋，惟有感激之情，焉能计较发出异议？
但依旁观者的欣赏观点出发，他仍然写出一诗，抒发自己的有识之见。诗曰：
雕楼窗棂彩画椽，覆檐却道土泥坚。
春冰片片陶家瓦，不是刘青碧玉砖。
他把此诗给肖绮婉看过，肖绮婉看后又以诗情再次观察新房，赞美说写得入情传神，并有新的启示：屋顶以瓦盖会更加美观牢固，持久耐用。可见纪晓岚观察入微、心性巧慧、富于远见卓识。
然而她又疑云顿生：“此屋顶此时没有冰雪，何出‘春冰片片陶家瓦’呢？”
纪晓岚被她问得突兀惊讶，心想：她擅长品诗，眼力不凡，问得好。于是他淡然一笑，胸有成竹地说：“此诗不止写我新屋，广涉此地筑屋风尚。冬天我已多次观察过不少屋顶白雪厚积，到春天化为片片白冰，阳光一照，晶莹闪光，恰似琉璃之瓦，远看状若奇观，因此有此诗句。”
肖绮婉心服口服，当即嫣然一笑，写了一首诗赞扬纪晓岚观察入微、出神入化的赋诗手笔。那诗中有这样两句：
阅尽桑田细微流，
点破沧海卧底龙。
纪晓岚看了全诗后，对这两句诗特别欣赏，连连吟诵，说：“知我者，肖女绮婉矣！”
纪晓岚又问肖绮婉：“新屋已成，尚未命名，你看起个什么名字？”肖绮婉说：“你为什么不让办事大臣给你的金屋起名呢？”纪晓岚说：“听他们口气，无非是些官爵福寿之名，不相适宜。”
肖绮婉问他：“那有何妨？”纪晓岚说：“我被发配此地，效力赎罪，怎能张扬显赫。若被小人以此谗谏皇上，岂不弄巧成拙，贻误返回京都的机缘。”
肖绮婉听后亦觉有理，当即说出一番使纪晓岚拍手叫好的话来。