在陆军测绘学堂，语罕除了功课之外，好读杂书。“旧式的家庭教育和学校教育，都视小说为伤风败俗，引导青年走上邪途去的东西，所以相率禁止子弟去看。记得我已经进了安徽省城的陆军测绘学校，暑假回家，行囊中夹了一部《西厢记》，到家时被母亲发觉了，她把它立时没收，并把我严厉地教训了一顿。”【注释1】
他还读过一些关于革命的小册子，如《太平天国野史》、《三十三年落花梦》，等等。语罕也爱与同乡中的前辈来往，通过朱笃之认识了其老兄朱检之，又通过朱检之结识了他的朋友、皖北教育会秘书长吴性之。朱检之是学警察专业的；吴性之是合肥的文人，平素以阳明学者自居。他们两个都住高升栈。每逢星期日，语罕都会和朱笃之去他们那儿谈天。
吴性之喜欢吃鸦片，常躺在烟床上同语罕谈“良知合一”的哲学问题，又谈《史记》、《左传》、“象山”、“二曲”。凡是吴性之介绍的书籍，语罕都设法筹款把它们买来读，读了再去和吴性之谈。有一次，安徽咨议局秘书长章宇澄在吴性之那里因宋明理学问题，和语罕发生争执。吴性之说章宇澄错了，并问语罕读些什么书。
语罕答道：“我从前喜欢读曾文正公的集子和胡文忠公全集，尤其喜欢读曾氏家书和求阙斋日记，现在凡于先生平日在谈话中所郑重介绍的书如迁史、班书、阳明全集、象山全集，大致都略略读了一遍，自己觉得还是很少了解。”【注释2】吴性之给语罕许多鼓励，语罕也越发勤勉。
在学堂，语罕是个穷学生。父亲在家赋闲，没有多少钱寄给语罕用。学堂虽然供给服装、伙食，但每月的零用和必要的书报费却没有。一旦遇见意外，更是没有办法。
1907年夏天，语罕将要毕业的时候，左臀生了一个肿毒，痛得异常。在教习的劝说下，语罕到圣公会（医院）开刀。恰巧李莜园来省城，听说语罕病在医院，特地跑来看他，掏出一块大洋，算是解了燃眉之急。
语罕住的是每天两角钱的房间，饭食医药统统在内。每天早晨或晚上，还有一杯牛肉汤两个荷包蛋。手术以后，病痛去了，但是出血太多。他总觉得缺少油水，馋得要命。
每天晚上，总有一个神甫到病房来宣讲福音，劝语罕信教。那时语罕已受了一点科学思想的影响，就老实地告诉他：“我不信教，除非你有一天能说得使我相信上帝。”
宣教的神甫并不灰心，第二天、第三天仍然过来。有天晚上，那位牧师穿着黑长袍子，左膀子夹着《圣经》，又来了。
没等他开口，语罕劈头就问：“什么叫做创世纪？”
“创世纪就是记载上帝创造世界的圣灵的经书。”
“据你说世界是上帝造的，那么上帝又是谁造的呢？”
神甫马上对着胸口画了一画十字：“异教徒！异教徒！上帝是唯一的神，如何可以这样地亵渎。”
“你若对这个问题，没有满意的答复，那我就一定不会做你的信徒！”
“不信上帝，要受来世的惩罚的。”牧师说完，又转向别的病人说教去了。
语罕当时写了三首诗记述自己的感想：
其一
病体支离百吟呻，为谁说教去来频。
男儿自有灵魂在，上帝何须强作人？
其二
满目疮痍百感并，仓皇戎马一书生。
他年若得沙场死，不作神仙气也平。
其三
漫向人间说窈冥，耶和华事有谁听？
苍茫独立风尘里，我有良知是圣经。
这些诗表现出语罕反抗宗教精神的萌芽。“我有良知是圣经”，这句话贯穿了语罕的一生。
【注释1】高语罕：《中学作文法》，第28页。笔者自藏本。
【注释2】高语罕：《百花亭畔》，第85—86页。