当然，吕留良一开始做评点时文并不是为了传播自己“华夷有辩”等思想的，而是出于对朱子之学的维护。
吕留良在参加完科举考试后，他参校了许多同试者的文章，通过阅读和对比这些文章，他发现了当时八股文中“人心忽异类，成群畔传注”的怪现象，而这也是当时学风的一个表现。所谓“传”即《程氏易传》，“注”指《四书集注》，“畔传注”自然就是叛“程朱理学”，这也是当时王阳明“心学”影响的结果。在吕留良眼里，只有程朱之学才是其笃信不疑之真理，八股文的本来要求也是要发挥朱子《四书集注》之含义，替圣人立言，而如今的学子们纷纷“离经叛道”，吕对这种风气自然很是不满，于是他要为改变当下学风做点什么。
顺治十一年（1654）冬天，其好友陆文霦创办文社，约请吕留良一起评选八股文，而此时清朝从入关以来已经开了五科会试。所以这次评点主要是评选前五科的文章，最后汇编成书，为《五科程墨》。
其实这类评点时文的书有点像现在考试的“教辅书”或“优秀作文选”，主要就是针对读书人的科举考试的，由于这种书的市场很好，书商们也十分乐意出这种书。但此时的吕留良还没有有意识地专门评点八股文，只是帮帮朋友的忙而已。但正是这段经历，影响了他的一生乃至身后的命运。
他在评点八股文时曾感叹道：“道不明已经很久了，如今想要程朱之道恢复正统，除了眼下这些个识字的秀才，又跟谁去说呢？除了四子之书外，也没有什么可讲的了。”应该说正是有了这次评点的经历，他评点时文也从不自觉慢慢走向了自觉。他后来正式参加陆文霦的文社便是佐证。
文社本是由宣忠的老师、吕留良的忘年交孙爽组织，孙爽死后，文社活动便由陆文霦主持，但苦于文社工作琐碎，事情较多，于是陆多次邀请吕留良参与进来，一方面组织文社的活动，一方面继续评选社稿、时文等。顺治十四年（1657）吕留良正式开始负责文社具体工作，期间，他评选时文的工作一直持续。就这样，随着交际范围的扩大以及评选工作的持续，吕留良的名气也是日渐提升。而就在这个时候，因为陆文霦听信别人谗言，与吕之间的关系出现了裂痕，吕不得不退出文社，另寻他处。
此后吕留良便利用交游之余的时间自己评点时文并刊刻获利，长此以往，倒也获利颇丰。康熙九年（1670）六月江南发大水，天地被淹，吕留良的许多朋友因田亩尽淹，没有粮食，都来向吕留良贷金买米。其实这年吕家的田租收入也只能上交赋税，正式因为出书、卖书的收入，才让其即使遇到水灾，还能“优游度日”。
但是有很多朋友对其热衷于评点八股文是颇有些微词的，张履祥便是其中一个。张曾经称吕留良从事的这种时文评点工作“轻如鸿毛”，而且极其浪费时间和精力，所谓“无益身心，有损志气”，多次劝他停止这个工作。但此时吕留良评点时文的目的并不像以前维护朱子之学那么简单了，他是想通过评点时文来传播自己的学术、政治思想，同时不可避免地也有经济方面的考虑。因为没有功名，也不可能出仕，自己又是一个文人，虽然曾经有过“卖艺”挣钱的经历，很快又迫于压力放弃了，所以不得不为生计四处奔波，甚至要求之于人。而现在他靠评点时文出书卖书，不但解决了自己的生计问题，偶尔还可以周济一下有困难的朋友，这样，既能传播自己的学术思想，又能解决自己的吃饭问题，还不至于求之于人，寄人篱下，这又何乐而不为呢？
那么吕留良评点的时文寄托了他自己怎样的思想呢？在当时的士人当中又产生了什么样的影响呢？有没有达到他自己的传播个人学术、政治思想的预期呢？
在他评点的时文当中，主要表达了自己三个方面的观点：其一是对八股取士制度以及腐儒的批判；其二是对明末以来甚嚣尘上的王阳明心学的抨击；其三则是一些触动清廷忌讳的政治主张。这些思想如果单纯以文章的形式表达出来，无疑会受到来自各方面的压力，吕留良很难去大面积地直接传播这些思想。而将这些思想渗透到自己评点的八股文中来传播，则更多的是潜移默化而非灌输，这样更容易让人接受，也更容易达到传播自己思想的目的。
从实际效果来看，当时也的确有很多科举之人因读了吕留良的时文评点而高中的，其中还有不少人给他写了“感谢信”。如康熙十五年（1676）有一个进士许承宣就在信中写道：“惟足下能自振拔，芟除一切因仍苟且之习而独存正始之音，使文章一途，拨云雾而见青天，斯道之不亡，其功讵在禹下耶！”可见，吕留良的评点一定程度上也起到了荡涤学风的作用。后来其长子公忠能在康熙四十五年（1706）高中榜眼，与其父亲的这些工作也是分不开的。
到了康熙十二年（1673），吕留良已经不满足于做原始的供货商，他在这年亲自来到南京开拓市场，自己评点，自己雕版，自己发行，可以说更像是一个书商了。
在南京，他听说这里的士人对他的《程墨观略》赞不绝口，去年秋冬卖了一千多册。而在这年六月份，他的《程墨观略》、《大题观略》两本书在坊间更是随印随发，苏州、杭州、芜湖等地书商皆来索书，二书的畅销可见一斑。
随着吕留良评书的名气愈来愈大，当时任清朝太仆寺少卿的龚鼎孳委托徐方虎等传达其想邀请吕留良到北京评选房书的意向，并商量迎请之礼。但吕留良是打定主意不仕清朝的，又怎么会接受龚鼎孳的邀请呢？所以他写了一首诗婉言拒绝了龚德邀请。
但到了康熙十三年（1674），就在他从南京回来后的第二年，他选择了激流勇退，移居至南阳村东庄，不再选评时文，也不再远游，谢绝世务，过起了隐居的生活。
吕留良为什么突然放弃了评选时文呢？因为他评选八股文的书籍流传越来越广，当时社会上则以“选手”、“选家”来称呼吕留良，正是这个称呼激怒了他，从此撂笔不干了。他自己就曾说过“于选家二字，素所愧耻”，“选手二字，某所深耻而痛恨者”。他评选八股文就是想纠正之前“选手”们给科举带来的不正之学风，使士子们重新回到程朱理学上来，现在也有人将其与那些“选手”相提并论，他当然不干了。另外，评点时文需要花费大量的时间和精力也是其搁笔的另一原因，朋友张履祥的忠告他不是没有考虑的。
与黄宗羲交游始末
在评点时文、出书卖书之外，交游也是吕留良遗民生活的重要组成部分。而在吕留良交游的朋友当中，要数和黄宗羲的关系最为密切，但遗憾的是这种挚友的关系却没能维持到最后，到底是什么原因让这两个原本志同道合的朋友走向了决裂？
顺治十七年（1660）八月，黄宗羲作“匡庐之游”，随后渡过钱塘江到杭州，前往天长寺会见黄宗炎与高旦中，而这时吕留良也在此，于是两个人就向黄宗羲推荐了吕留良。此时黄宗羲已经是五十一岁了，要比吕留良长近二十岁，但初次见面之后，两人便结成了忘年之交。
康熙二年（1663），黄宗羲更是来到语溪吕留良的家中坐馆，教吕留良的子侄们读书。先是设馆于吕氏的梅花阁，后来又迁到了水生草堂，不久又迁到吕氏的私宅东庄。这段时间里，吕留良和黄宗羲，以及吴之振、高斗魁、黄宗炎等几个朋友经常聚会雅集、饮酒唱和，吕留良后来称这段时间是最为畅快的“文会时期”。应该说这段时间是两个人友谊的“蜜月期”，两个人在这段时间里还经常单独吟诗赋词，谈论时事，来抒发郁积心中的反清复明的政治志趣，志同道合让两个人的友谊一天天加深。
这年五月，黄宗羲三弟黄宗会病重，黄宗羲仓促间回余姚探视，吕留良即慷慨解囊，以自己心爱的砚台和沈周、文征明的名画出售，给黄宗羲带回余姚作宗会治病的费用。这一感人的事实，生动地表现了吕留良与其患难与共的真挚友谊。
黄宗羲自康熙二年到吕家教书，至康熙五年离去，在吕留良家待了四年。期间黄宗羲每次回家，吕留良都赠以礼品，并亲自送到杭州。在吕留良的诗集中就有多首《送德冰东归》诗，对黄宗羲的离去，他总感到怅然若失。
但没过多久，两个人之间便出现了一次纷争。当时吕留良和黄宗羲、高旦中一起去拜访好友董雨舟，当时董雨舟的一个孩子董采便以含山泉水为三位客人烹茶，不料这次饮茶却引起了三人斗诗。其实文人斗诗本来也没什么，但从斗诗之中两人的学术宗派的分歧也随之出现，这才是后来影响两人关系的重要因素。