婴儿时期的托尔斯泰懵懂中能感觉到身边有两个人，他们对他的喊叫声视若无睹，全然不理会他想要挣脱包裹的期望。于是，他就哭得更大声了，这是他表达意思的唯一方式。
过了一段时间之后，他开始对周围有了一点印象。他的第一个清晰的记忆是婴儿时的一次洗澡。那时他坐在洗澡盆里，有一位保姆替他擦身，一阵无法形容的新鲜而幽香的气味，散发在他的周围。自己露出肋骨的小巧身体、幽暗而滑溜的浴槽、保姆卷起袖子的手、温暖的洗澡水、冉冉上升如雾般的蒸汽，还有洗澡时哗啦哗啦的水声，所有的一切都留在了幼小的托尔斯泰的脑海里。他那时尤其喜欢摸浴槽的边缘，有种滑溜溜的感觉。
托尔斯泰从出生一直到满三岁，都是由保姆在照顾，他对人生开始的这三年就只有上面那点印象。他是何时开始看见东西、听见声音、开口说话的，他完全没有记忆，能告诉他这一切的母亲也早早离世。但不管怎么说，托尔斯泰的幼年还是很幸福的。
稍微长大一点后，他开始有烦恼了。在小说《童年》一书中，托尔斯泰曾如此描述：
……有时候我对自己很绝望，我的鼻子大而扁，嘴唇很厚，眼睛细小又呈灰色，像这样丑的人，幸福之神一定不会降临到我的身上。除非神能赐予奇迹，让我成为美男子，否则别无他法。只要能够美化我，我一定把现在以及将来所能获得的一切都献给神——我时常如此祷告神来帮助我，可是奇迹并没有出现。
由此可见，托尔斯泰从小就对自己的脸没有什么信心。有一位批评家也曾对托尔斯泰的样貌下过如此的评语：
设计这么伟大灵魂住宅的，不是希腊的艺术之神，而是一个极为平凡的木匠。因为他拥有一张平凡的丑脸。
他的风釆会令初次见到他的人泄气。他们从很远的地方坐火车或坐汽车来到他的住宅，坐在客厅中等着主人出来接待，心中不免想象着会有怎样一位和蔼可亲的人出现。可是不知何故，一位与他们想象中完全不同的人打开了门，他是个矮胖的男子，蓄着杂乱的胡须，加速脚步走进来，脸上是欢迎的神色。然后他站在这些一脸惊愕的访客面前，高兴地交谈了几句，就轻松地向客人握手道别。
这位讨人喜欢的矮胖好人，长着雪一般的胡须，毫无顾忌地与客人亲切谈心，他真的就是大文豪托尔斯泰吗？
见过托尔斯泰的人普遍觉得他的长相太过平凡普通，与他的才华完全不相称。但是他们对他的眼睛却有不同的评价。
幼年时，托尔斯泰自己曾对这双小而灰的眼睛厌恶地形容道：“在卷起的浓眉森林里，凸出豹般灰色的眼睛。”
高尔基曾说：“托尔斯泰的眼睛里藏有一百只眼睛。”又说：“托尔斯泰具有俄国传统农奴的脸孔，但是由于这双眼睛，使他的脸更具有天才的容貌。他的眼神很锐利，就像一只鹰从很高的天空，向正在地上奔跑的小老鼠猛扑下来时的眼神一样；又如强有力的箭一般，能射进坚硬的东西；不仅如此，他的眼睛更能鸟瞰世界，一览无遗。”
高尔基最后的结论是：“拥有这种眼睛的人，才能看出真理，世界上的一切知识都是属于他的；但事实上，拥有它们的人，并不是幸福的。”
高尔基描述的到底是什么样的一双眼睛，我们不太明白，但他对托尔斯泰这预言性的结论却可以说十分接近事实。
童年的游戏
母亲过世之后，照顾托尔斯泰兄妹们的，是他们的远亲塔迦娜，他们称她为伯母。她长得并不高，但很结实，头发乌黑。她心地很善良，尤其是对那些穷苦无依的人颇有怜悯心。
除了父母之外，塔迦娜伯母是托尔斯泰一生当中第三个最重要的人，对他的生活有直接的影响。托尔斯泰除了在喀山大学读书和入伍的那段时间之外，一直没有离开过她。
她从不用言语而常以行动来表示对别人的爱，她喜欢安静，对于平凡的生活总能乐在其中，这对托尔斯泰性格的形成产生了深远的影响。
当然，代替母职的不仅只有塔迦娜伯母一人，还有尼古拉的两个姐姐——姑母亚历山大伯爵夫人与贝拉格雅夫人。
姑母住在喀山，这是后来托尔斯泰兄妹都到求学的一个原因。塔迦娜伯母住在亚斯纳亚·博利尔纳一处美丽的丘陵上，那里被茂密的白桦林包围着，林中还有很多核桃树，一到秋天，果实累累。
这里是那个年代的交通要道，当时俄国北方和南方的铁路尚未开筑，从莫斯科或圣彼得堡到克里米亚或高加索的马车，都要摇着铃吹着喇叭经过此地。
塔迦娜伯母的住宅很雄伟，宅前池塘边长着一棵百年以上的大菩提树，古老的庭院像公园般广阔，周围被水沟和壁垒所包围，虽然没有军队驻扎，却俨然是一座城堡。
就在这座城堡中，托尔斯泰度过了快乐的幼年时代。他们兄妹有许多玩乐的方法，比如捉迷藏、打板球等。他们每天都在挖空心思地找出一些新的玩意儿来。
其中有两种游戏，托尔斯泰记忆深刻：一种叫“绿杖”，另一种叫“蚂蚁兄弟”，这些都是大哥尼克莱教他们的。
这是托尔斯泰五岁时的事情。他记得那一天，遥远的柳树林中有布谷鸟清脆的叫声，空中云雀在飞翔，菩提树和白桦树刚刚萌芽，散发出阵阵幽香，大地笼罩在初夏的气息中。尼克莱告诉弟妹们关于“绿杖”的传说。
尼克莱说，绿杖就是一根魔杖，至于什么样子，藏在何处没有人清楚。可它的确存在，而且魔杖上还刻着一些魔法文字。那些文字能告诉你，如何使世界上的人都变得非常幸福，没有争闹、没有怨怒，而且不会生病，人人都过着安乐和谐的生活。
只有11岁的尼克莱，已经发现了人与人之间的不平等。他认为一定有可以废除这种不平等的秘密法宝。
几天后，尼克莱提议一起去后山寻找绿杖。弟妹们高兴得不得了，马上跟着尼克莱去了后山。他们一点也不怀疑尼克莱所说的，甚至相信只要能找到绿杖，那么所有的流浪者、所有的穷人就都能幸福。
当然，绿杖一直没有找到，但他们都相信总有一天会找到的，所以他们仍然在后山不停地跑来跑去。这就是“绿杖”的游戏。
另一种叫“蚂蚁兄弟”的游戏，与“绿杖”的主旨用意差不多，也是一种训练人们认识幸福的游戏。这个游戏也是尼克莱发明的。
他们各人搬出自己的凳子，靠拢摆在院子里，然后再搬出几个大空木箱搭成小小的屋子的形状，用布条当做窗帘。
准备好了之后，兄弟四人就进到这间小屋里坐下来，闭上眼睛，安静地挤在一处，和平相处。假使有一人乱动，这个小屋就会倒塌。
在15世纪时，一群有爱、有真理，不断在寻求人类幸福的基督徒们，组成了一个小团体。他们为了自己的信仰，为了谋求世界人类的幸福，忍受着种种迫害。他们在一处小丘陵上搭盖了非常简陋的家，安贫乐道，世人都称他们为“莫拉比亚兄弟”。
莫拉比亚，在俄语中就是“蚂蚁”的意思。托尔斯泰家的仆从对于他们兄弟热衷的这种游戏十分不理解，他们觉得那是索然无味的。但多年之后，托尔斯泰却认为这是一种可诱导良知，直接与社会教育产生关联的游戏，它可以培养孩子们正确的人生观。