曹仲元在昌图县古榆城的马老钧租房住了约四年，而后在聚兴成大院大约又住了四年，之后便迁入端木姑姑陪嫁的房屋，在北小壕子胡同（又有人称杏树院子胡同）。这时，端木蕻良已经八九岁了，而并不像早期端木研究者所说的那样：当年曹家从鹭树逃至昌图古榆城的时候，就直接住到了那儿。这个胡同以其杏树而著名，四月光景，从房里向外望去，满眼都是杏花、梨花、樱桃花。
这座院子原来是端木蕻良亲姑姑的陪嫁，这个姑姑就是端木蕻良的小说《早春》里来访的姑姑的原型。“姑姑嫁给马秧子马家，她家是很有钱的，是亮鬃桥首户，她家又是最大的土地的领主和几家联号的财东，凡‘宝字号’的生意，都是她家开的。”但是由于姑夫是个有名的败家子，最后连姑姑陪嫁的院子也保不住，要出卖了。曹仲元立刻就按照宗法惯例：亲戚有优先购买权的方法，买下了这幢大宅子。这座院子有五间正房，五间东厢房，还有一座大门楼，其他便是一片空院落。曹仲元原本想整修一下这个大院子的，后来为了大门前两块下马石的主权，和姑父打了官司，花了很多钱，整修计划只得作罢。这个院子真够大，曹仲元希望在院子里种树，柳树、桃树、杏树、樱桃等等，把院子变成一个果园。而端木蕻良的母亲却主张掘地种菜，她是随时随地想把家庭农业化的，可以自供自给，她喜欢自己种蔬菜，自己养鸡养鸭，大概她总是想回到她自己少女时代娘家的生活，房前房后一畦畦绿油油的菜地，远处是一望无际的旷野，可惜，这样的生活是再也不会回到她的身边了。
曹仲元坚决反对端木蕻良母亲的生活方式，他是以消费来向他的亲友们夸耀他的生活的。他讲究吃喝玩乐，常常买些字画、木器，或是与治家无关的东西。他对端木蕻良说：“盆草拳石，可见山川之气。”
端木蕻良在这座大院子里度过了非常值得留恋的时光，等到他的父亲不在书房的时候，他就钻了进去。他曾在他的小说《初吻》里，非常细腻而又富有感情色彩地描写了父亲的书房——静室，他说过《初吻》里的静室就是按照他父亲真实的书房描写的。那里的东西每天都有专人来擦抹揩拭，香炉里的檀香每刻都不息，神橱里的长明灯也永远点着。炕上铺着三寸厚的白羊毛炕毯，毯上铺着蓝哈拉全镶沿黑大云子卷的炕蒙子，蒙子上面一层香黄色的西藏驼衬绒。绒毡上摆着成对的云龙献寿黄缎靠枕，下面还铺着两块瓦合叶的千针行的厚褥垫，也都是清一色黄丝绒夹线的百蝠宫缎做的。炕的中间横放一张琴桌，桌子是铁梨木的，两边铺着黄缎的桌衬倒垂下来。桌上放着木函的经卷，《楞严经》、《妙法莲华经》、《大悲宝忏》、《地藏菩萨真经》、《金刚经》。静室靠北边是三个佛龛，描金透珑的佛橱，橱前静悄悄的悬着日月光明百宝法幢旗，飞龙舞狮祥云结彩幡。橱里画着一排紫竹林，衔着一串珠子在飞着的金翅鸟。作在九节莲花上的观音大士像，全是用金赤叶子铸了的。橱前还有一个白玉的玉观音，腰肢向一边扭转着，差不多是除了些珍珠璎珞外，身上是裸着的。端木蕻良自小就知道这里的好些事物，譬如那个古铜的法铃里的小锤也是一个小铃铛。西藏传来的披着仔甲的瓷金刚，背后的火焰是活动的，拿下来也可以的。波斯门香是香面子，用来点着了熏的，焚香的铜炉是宣德年间造的。插杨柳枝的花瓶的鹦哥绿，釉子的光彩是像水浇似的。还有大铜仿键子拼起来是个长键子，拆开了是个仿圈。笔洗旁边是两只螃蟹，放水放得正合适的时候，螃蟹的眼睛里就透出两粒小水珠儿来，像是活了的一样。
在父亲的藏书室里，端木蕻良除了偷看《红楼梦》，还偷看了“许多的奇怪书籍，故自小他有神童之称”。如果说端木蕻良之所以选择了文学的道路，最初的意念是受到他母亲的萌发；那么，他父亲的藏书和新思想就使他的这种想当作家的志向得到了强化。端木蕻良的父亲在儿子们的面前是一个非常严厉的父亲，处处表现了大家长的权威，从来没有在儿子们面前说过不利于曹家族的话。他也非常注重孩子们的读书。除了把他那南方的新思想灌输给他的儿子们之外，他同时又要使他的孩子们相信风水、相信家仙等。他自命是继承端木蕻良曾祖父的，效仿曾祖父教育他自己的方法来教育儿子们，使端木蕻良自小就认识了这个家庭的世族传统，以人参、燕窝、鱼翅等山珍海味，熏陶了下一代的贵族气。端木蕻良父亲的新思想、反叛精神以及无关心的处世方式，还有贵族的气质，都在端木蕻良的身上留下不少的痕迹。这些痕迹在给端木蕻良带来了独特的个性之外，同时也给他带来了不合群的孤僻。
在昌图县城，端木蕻良的父亲彻底弃农经商，完完全全地把他的家推到“不在地主”这一方面来，一切都脱离生产，只是十足的消费。长期以来，由于政治上的因素，端木蕻良常常否认他和他自己和父系家族感情上的联系，但是通过他的那忏悔贵族似的半自传体的小说，以及小说中有意识无意识的夸大和标榜，可以看到，端木蕻良常常情不自禁地陶醉于他的父亲——包括整个父系家族的消费方式、生活排场当中，并为自己辉煌的家史感到骄傲。从某种程度上来看，端木蕻良对于父系家族贵族权势的崇拜往往掺杂着对他那失去的土地、财富的遗憾，对于母系家族的同情又掺杂着对穷苦农民的怜悯、对堕落者的藐视。当他在为母亲诉苦的过程中，恰恰完成了渲染父系家族的权威力量，同时也认识了女性及女性在这个贵族大家庭里、在整个社会中的地位和作用。这一切，支离破碎又交错完整地构建了一个复杂的端木蕻良。
应该说，端木蕻良的父亲对于端木蕻良的成长是起着决定性作用的，他很重视孩子们的教育，而且思想十分开放。有一天，住在杏树院子胡同的曹仲元读到一篇文章——《直奉站云录》，这是天津南开学校(住宿中学)一个叫刘冠雄的学生写的，曹仲元非常高兴，决定也把孩子送到天津南开去读书，希望他们长大以后也写书。天津是当年中国北方资本主义发展的重镇，南开中学在当时颇具盛名，被公认为一所思想自由开放的现代化学校，相当注重培养学生的开拓精神，中国许多现代著名人士都从那儿毕业，例如政治家周恩来、剧作家曹禺、作家靳以、诗人辛笛等。曹仲元明智地把儿子们一个个送到天津去，帮助他们从闭塞的东北农村、落伍的教育里走向现代化的先进大城市，从科尔沁旗草原走向现代社会。在这个现代化的城市里得到的现代化教育，开阔他们的眼界，为他们创造了新生活的机会。这一重大决定使端木蕻良受益匪浅，为他以后走上文学道路成为一个作家开创了第一步。
端木蕻良的眼前即将打开是一个崭新的世界。