李敖认为，五四时代，蔡元培先生的“杀君马者，道旁儿”一语，也可用在殷海光的遭遇上。他说，在《自由中国》时代，没有人像殷海光写得这么坦白，殷海光跟他不一样，他是骂人，殷海光是骂政权。这当然激起很多人的同情和共鸣：“自己不敢说，他替我说了。不是因为他而晓得政府如何如何，而是我自己怎么想，他替我说了。”
当时，殷海光身边汇聚了一批学生，像张灏、林毓生、陈鼓应、陈平景等，后来都各走各的路。他对学生很好，学生离开了学校，他也一直跟他们通信，向他们请教新的知识。李敖说：“他的《中国文化的展望》一书我写了书评批评他，他很不高兴，我是觉得做朋友应该尽直言的责任。张灏是完全理解我这种心情，张灏对殷海光还是很敬重的。”
许倬云也回忆了与殷海光的交往，觉得他太直了。他回忆他到殷家看望，殷海光就抱怨，发牢骚。殷海光说：“有什么好书？”许倬云便告诉他，他常用的口头语：“棒不棒？”许回答说：“书没有棒不棒这个事情，每本书都有它的特殊处，也有它的缺陷。”许倬云认为殷就是一竿子打到底的态度：一本好书，或者一本坏书。介绍过来的外国思想，他一定佩服。
许倬云透露，殷海光不喝茶，喝咖啡。他相信“科学”，可是也有矛盾的地方。他得癌症，以为可以靠打坐的功夫来治，他找南怀瑾学打坐、运气，把蒲团都坐破了。这件事，他是不会跟学生讲的。他好意说：“许倬云，打坐对你的身体有好处。”许倬云说：“对我的手脚没有用处，对一般的身体可能有用处。”他还特别陪许倬云去拜访南怀瑾，当然南怀瑾也知道，气功治不好殷海光的疾病。
不过，许倬云感激他对朋友的热心和善意。当独裁者因权力而逐渐远离人性纯真的时候，会对别人炽热的人性怀着深沉的妒恨。和许多独裁者一样，蒋经国也喜欢对被他压迫的人施予个人恩惠。这种行为可以有各种不同的解释。许倬云倾向于认为，这种施恩行为其实是为了羞辱反对者，而其动机则是上述的妒恨心理。
例如殷海光过世后，他太太的离台申请一直不被核准，甚至有特务到她家劝她打消离台的意念。后来在雷震的指点下，殷太太写信给蒋经国向他求情，才终于获准离台。雷震以他在统治核心中多年的经验告诉她，“你要离台，你一定要亲自写一封信给蒋经国。国民党的做法就是这样，希望你求他。你求他，他再放你，这样他就很有面子”。雷震的解释是统治者要“面子”。另外一种可能的解释则是：统治者要反对者以实际的行为明白承认，谁才是真正掌握命运的人。谁是有权力的人，谁才是真正的主人。
因此，整个“胡适自由主义文人集团”随着1962年胡适的去世，死的死、抓的抓、关的关，几乎被国民党摧残殆尽。而以胡适为首的自由主义知识分子在20世纪50年代的台湾议政，虽掀起《自由中国》时代的高潮，但也随即在国民党的反扑下，缘起缘灭，倏忽地风流云散矣！虽然如此，“哲人日已远，典型在宿昔”。雷震、殷海光甚至李敖等自由主义知识分子的典范，抚今追昔，仍是值得我们加以肯定和效法的。
殷海光以自由主义学者得大名，是其来台后，在《自由中国》及《文星》等杂志，发表一系列阐述宣扬民主自由的政论性文章之结果。殷海光是彼时岛内最重要的逻辑研究先驱，他除了引进当时岛外最先进的“逻辑实证论”思想外，对罗素、哈耶克等西方思想家亦相当注意。相对于彼时台湾非常封闭的学术环境言，殷海光引进了西方思想，无疑是为当时的学术界开启了对外接触的重要窗口。
殷海光说：“自由是许多人恐惧的乌云，也是另外许多人欣喜的朝阳”，他不断地阐扬自由主义思想，“我们对于反对自由主义的人，至少有义务要促起他们，知道自由主义是怎样一回事”。
殷海光常自称是“五四后期的人物”，是“五四的儿子”，缘于对五四所倡导的民主、自由的浓厚情结，这使得他对宣扬五四精神非常重视。《自由中国》杂志上，有关五四的社论，大都是殷海光所写的。由于他对五四的憧憬及倾向西化的主张，所以到《文星》时期爆发了所谓的“中西文化论战”之际，殷自然成为众矢之的，被徐高阮、郑学稼、胡秋原等视为反蒋的幕后支持者。
其实，在当时政治统治高压的情况下，很多知识分子丧失了独立精神，不敢和统治当局对抗，有的甚至噤声依附，充当打手。但殷海光却能不迎合当局，是其所是、非其所非、敢怒敢言的风骨和气节，成为知识分子的典范。坦白地说，殷海光在学术专业领域，并没有了不起的创见，但在人格上，殷海光终身信奉自由主义，且力图在实践上成为一个真正的自由主义者，并以此影响当时整个台湾的学术信仰和社会风气。
直到临终前，他仍坚信：“一方面我跟反理性主义、蒙昧主义、褊狭思想、独断教条作毫无保留的奋斗。另一方面，我肯定理性、自由、民主、仁爱的积极价值。我坚信，这是人类生存的永久价值。”这不仅是殷海光的临终遗言，也是其一生奉行自由主义的最佳脚注。总之，殷海光到台湾后，成为台湾20世纪60年代最著名的自由主义者及最佳代言人。不过，很有趣的是，他本身的气质，既不民主，亦不宽容，甚至在论战场上还显得相当武断。
然而，这种一元价值的思想特色，在当时台湾封闭的思想环境中，反而使其主张别具另类价值的意义；在宣扬民主和科学的工作上作出了重大的贡献。无怪乎，他被誉为“五四之后，除了胡适，台湾唯一有影响力的知识分子”。
自由主义信仰者张忠栋教授说得好：“胡适、雷震和殷海光，是三位不同的自由主义者。因胡适是继续反对独裁极权，反对守旧复古，并继续主张民主与科学；而殷海光则继承五四余绪，在《自由中国》上写了最多阐扬民主自由理念的文章；至于雷震，他是在争取民主自由的艰苦历程中，不仅坐而言，而且起而行，所以下场也最悲凉和最值得后人的同情。”
以上三人，年龄虽不同，性情也各异，身份背景亦有别，也因此，各有表现，也各有不同遭遇。但是，他们都曾共同坚持了一些自由主义的基本原则，于是才会因缘际会，成为同道，共同为战后台湾的民主思想来启蒙、来奉献，并为其而受苦、受难。
“如今，我们若能为过去那样的人设身处地地着想，则对于这三位不同典型的自由主义者，虽难免有不同的评断，或有更严格的要求。但平心而论，环顾今天的自由主义知识分子，大家的表现，又有几人能够超越当年的雷震、殷海光或胡适？”这是自由主义者张忠栋教授晚年深刻的论断和感慨。
张忠栋教授的论断和感慨并非无的放矢，观之今日台湾诸多乱象，所谓标榜自由主义的知识分子，还有几人敢秉持道德勇气，挺身而出？还有几人不畏于特定政治立场而针砭时局？因此，在当代台湾日益向下沉沦之际，犹能作狮子吼，或在台湾道德逐渐错乱沦丧的今天，犹能力挽狂澜者，若较之当年胡适、雷震、殷海光等人面对蒋家政权的压制所表现的铮铮铁骨，则其所标榜的自由主义知识分子的角色，不知其心中是否无愧。
台湾异议分子李筱峰非常怀念他一直未曾谋面的启蒙恩师殷海光教授，他写道：前天（2007年12月5日）是殷海光教授八十九岁冥诞。殷海光是台湾民主运动史上的一盏明灯，也是启发我自由思想的启蒙师。
高中之前，我是一个国民党党化教育下的法西斯狂徒，独裁者蒋介石是我当时的心中偶像。幸好上高中之后，我偶然在旧书店接触到已遭国民党停刊的《自由中国》杂志，当时雷震已在狱中，但他所创办的《自由中国》的文章却开始在我脑中发酵，我花了大半零用钱偷偷购买过期的《自由中国》来阅读，其中殷海光的文章对我震撼尤大。
从此这位自由思想家开始进入我的思维，我找来了殷教授的所有著作，开始“飙书”（包括轻松的《旅人小记》、严肃的《思想与方法》，以及遭国民党查禁的《中国文化的展望》）。经由殷海光的作品，再触类旁通及于其他思想家如罗素、哈耶克等，我经过一番内心的挣扎，逐渐脱胎换骨，开始走上追求民主自由、反抗国民党专制的道路。
殷海光提倡民主自由的言论，也为1960年雷震结合台湾本土政治精英筹组新政党提供了理论基础。可惜组党运动旋遭国民党当局高压，雷震等人被捕入狱。雷案爆发后，殷海光在《民主潮》继续振笔批判：“自古至今，多少人为了争取民主自由而牺牲生命。这些人在当时不是曾被咬定为叛徒？然而，时过境迁，那些咬这些志士为叛徒的人们，却替历史留下了人类自私、愚蠢和黑暗的纪录。”
国民党政府当然容不下提倡自由、人权的殷海光，终于在1966年禁止殷海光在他任教的台大上课。翌年，殷教授罹患胃癌，两年后病逝台北。此时我正在台南就读高三，未及亲谒就教。然而，这位自由主义者不仅在认知上让我茅塞顿开，而且他耿介的风骨与志节，也深深影响了我的人格。