李敖为证实殷海光被监禁迫害，还与原告胡秋原在法院互控诽谤。据说台大当局给胡秋原一个公函，说本校从未解聘殷海光先生。另外，警总也给胡秋原一个公函，说本部从未监控殷海光。因为正式公函有法律效力，法官问李敖说：“台大有没有解聘殷海光呀？”李敖说：“殷老师虽然有开课之名，但是，已经不能上课，形同解聘。”法官又问：“警总有没有派人监控殷海光呀？”李敖说：“每当我有事去看殷老师时，他家巷口都有人在那里，我总不能去问人家，请问你是哪一个单位呀？”
李敖又说：“殷海光老师，当年被迫害的经过，殷老师自己有记述。因为他在被迫害时，既未经过法律程序，也未留下解聘的证据，因此，他的家人未能获得任何补偿，在台湾，在自由的台湾，天理何在？！”
殷海光的学生赵天仪等最喜欢在殷海光老师家聚餐，享受师母做的美食，喝咖啡，是他们难忘的记忆。1961年罗素生日，殷海光老师邀请一些台大文学院的学生，在家里喝咖啡，赵天仪也是被邀请的研究生之一。有十位左右，男生女生都有。殷老师养了一只狗，如牧羊犬一样高大，取名为“领袖”，他指挥“领袖”也很有意思。在那一天，他提到在台湾需要来一个像五四一样的思想启蒙运动。
赵天仪还记得有一个晚上，数学系的洪成完与他去造访殷海光老师，那时殷老师正被当局逼着要离开台大哲学系，他拟申请去美国也未获准。殷海光拿出一张蒋介石与毛泽东在战后重庆合照的相片，说这一张照片当年重庆街头就可以买得到，他说他当年也是一个法西斯青年，跟着蒋介石走，现在他了解中国只有走上民主、自由道路才有希望。他一边沉痛地说，一边流下眼泪，他说：“我要自由，我要更大的自由！”赵天仪说：“每当想起殷海光老师，含着泪光，呐喊我要自由，我要更大的自由！”我都不禁悲从中来。”
殷海光被蒋介石整得走投无路，连美国人也看不下去了。美国哈佛燕京学社曾正式邀请殷海光赴美作为期两年的访问研究，但一直被台湾当局拖延不予办理离台手续。他曾托朋友设法找关系，甚至计划发动海外人士联名呼吁，然而这些他称为“出笼”的计划都落空了。
在万般无奈之下，殷海光想到了去美国教书谋生。几经周折，哈佛大学终于在1967年5月决定聘请殷海光到哈佛大学，与史华慈教授一起研究中国近代思想史。但殷海光太天真了，国民党当局岂能让他出去！一直到殷海光去世，当局也没有让他走。不过，哈佛方面寄来的在殷海光滞台期间的研究经费倒是帮他缓解了生活上的困难。
但是寄来的书却被管控了，书籍对于殷海光来说是精神生活中的第一需求，在他与友朋交往中关于书的交流是最令他兴奋和看重的事情，他临终前还为他念念不忘的中国近代思想史研究计划而委托在香港的友人替他购书。
在目前仅存的写给友人的书信中，他开列的书目和对书的评价，可以辑为一本颇有意义的小册子。尤为使人感同身受的是在对书的渴求中，折射出解严以前台湾政治的高压。1968年，殷海光在致美国友人的信中委托买三本书：《孙中山的一生及其意义》、《中国共产主义运动研究》和《农民的民族主义和共产党的权力》。他说直接寄这类书籍给他会非常不方便，因此请对方寄给住在他家附近的美国朋友魏君；由于收件人是美国人，当台湾的邮检员想把书扔到海里时，他们必须多一层考虑。
他在给香港朋友的信中时常请求帮他买书、寄书，同时多次叮嘱来信不要谈及所寄书名、作者等，甚至教朋友每次用不同的寄件人姓名和地址，总之是对台湾邮件检查的高度警惕。他说：“在一个自由民主的地区，一个从事著作的学人怎会这样操此类的心！”
更令人唏嘘的是，1969年1月，离他去世只有不到8个月，正被病魔折磨着的他在给香港朋友的信中还反复谈如何寄书给他才能躲过审查扣压、如何向邮局交涉追查，“我们希望不致完全‘石沉大海’”。他在另一信中说到《鲁迅全集》只收到两册，连其他的书共损失14册，“真是损失惨重！”当时台湾思想禁制的高压氛围于上述种种“书话”中可见一斑。
为了买书，殷海光不仅要冒着政治高压的风险，而且因为薪水被减、研究资助中断而承担着很大的经济压力。从20世纪60年代开始，在给美国友人、学生的信中多次提到不敢多写信，因为“写一次信就影响日常费用”、“一次十元，多了就影响‘民生’啰！”至于买书的钱就更是窘迫。在书信中，他请朋友替他买书通常都言明书款的付还方式，而且对书的价格也多有关注和叮嘱。但是，他的朋友和学生知道他的困境和爱书，常常赠书给他。对此他和朋友商量了一个办法，除了感谢大家以外，制订了所谓的“一人一年一书”（也称“三一制”）制度，即为了顾及朋友的财力和他的真正需求，由他提出想要的书，每一位朋友在一年内赠送一册；对于某些关系特别的亲友，他也会提出一年赠两册的愿望。
由书情而知学人生存景况之大概，殷海光虽然孤傲不屈，但心境的悲凉不难想见：“我如今，头发如霜，现实里的一切，什么也不属于我，连基本的生存也成问题，还要学生朋友来支持，并且还要向那陌生的‘学术市场’出售自己。我的心情，在某些方面，颇似晚年的陈独秀，或流亡墨西哥的托洛茨基。每一念及，心灵怎不感到轻微的震动。”每当读到殷海光书信中的这些文字，一般人都会感到心灵的震动。
说到哈佛大学邀殷海光前往该校研究中国近代思想这件事，台湾当局非但不允许其出境，还污蔑殷海光因言论带有“毒素”，因而再出重手将他逼离台大，与青年人隔离，随后凡是被冠以“殷海光的余孽”的台大哲学系教师也被停聘，人数之多几乎使哲学系关门。
殷海光去世前已陷绝地，但就是这样潜心著述、“形同隐居”的生活也不能见容于国民党当局。作为《自由中国》“首席余孽”的殷海光已经失去了在校园公开演讲的自由，外出活动也常常有“尾巴”紧随。
不久，哈耶克教授来台湾访问，政府禁止殷海光与之晤谈，而且殷海光的生活起居也受到监视。殷海光不堪如此身心双重折磨，1967年不幸罹患胃癌，病中嗜食芒果，并坚持阅读著作不辍，“出师未捷身先死，长使英雄泪满襟”，两年后病逝。
1966年1月，耗费殷海光无数心血的著作《中国文化的展望》出版，此书是殷海光多年的研究心得。此书采用了西方现代社会科学的概念及逻辑分析方法，讨论了19世纪以降中国历史文化的变迁，从世界架构的视野，检讨思索中国文化的前景。在书中，殷海光呼吁“道德的重建”，鼓舞知识人不畏威权，扛起道义责任的大纛。
当时殷海光的得意门生、“中央研究院”院士林毓生正在美国留学，收到书以后，还写信告诉老师，他看到这部书，第一个感觉是“惊异于您最近功力之勤与深”，也认为“在大学念书的应该人手一册”。但到7月这部书就被警备总部以“反对传统文化精神，破坏社会伦常观念”的理由查禁。
学界认为，一位以教学为职业、以著述为志业的殷海光，为了力行自己的自由主义原则，竟然遭受威权体制的无情镇压，失去教学舞台，也失去了发表思想、言论的自由。在精神上受到的折磨打击，终于成为身体上受病罹疾的原因。三年后，殷海光以五十岁英年，告别了人间。
1966年7月，刚出版的《中国文化的展望》一书被列入禁书之列是对殷海光重大的打击。这还不算，到了8月份，他在台大的教职也保不住了。在随后的三年中，殷海光陷入了贫病交加、孤立无援的苦难之中。按韦政通的说法，殷停留在这个世界的最后几年，“面临了与斯宾诺莎被教会除名相似的处境”，多年的老友不敢来探望他，有的甚至面对面碰上了都不肯相认。
在如此的困厄之中，殷海光仍不失英雄暮年、壮心不已的斗志。在给徐传礼的信中，他就谈到：“自由之实现是要付出代价的。在这太阳被乌云遮蔽的时代，我之身受，正是为自由所付出的代价。也许还得再付出哩！”
自由思想者殷海光对自由的渴求常伴随着感伤的慨叹，他曾说，“我这半辈子追求自由，当我在院内散步，想到这里，内心有时不免些微感伤”；同时他又是那么坚定无悔：“真不知哪儿来的勇气和顽强。一切狂风都吹不散我心头的那点追求自由的理想和肯定的人理价值。”殷海光在病危期间写下的《自叙》中对生命的眷念执著与对自由的追求同样震撼人心：“我希望我能再度战胜死神的威胁，正如我希望在春暖花开的日子看见大地开放着自由之花。”
殷海光虽未因雷震案入狱，然而围攻、贬抑、监视之氛围十年严逼，他的生活备加困顿。自由主义在强权高压下的挫败带来了寒蝉效应，殷海光亦转向更内在的反思，他在生命的最后时光发出沉重的感叹：“中国的自由主义者先天不足，后天失调。”
由于殷海光长期在台湾反极权、反暴政，蒋氏父子对他恨之入骨，并动用党、政、军特对他进行残酷的迫害，仅在报刊上的批判、围剿，就进行了五年之久。1969年9月16日，被病魔折磨了两年有余的殷海光终于走完了他的人生旅程。这天离他五十岁生日还有整整三个月。临终前，殷海光的遗言是：“我死得不甘心，我的思想才刚刚成熟，就在跑道的起跑点上倒下来，对于青年，我的责任未了，对于苦难的中国，我没有交代。”
殷海光虽只活了五十岁，却留下了800多万字的著作，其代表作有《逻辑新引》、《思想与方法》、《中国文化的展望》等。
殷海光生病主要是被国民党气的，在被看管的那几年，他身体非常不适，写不了、也登不了任何奋发之作，他只有生闷气，每当泡澡完了，精神抖擞，就往那个巷口一喊：“那个帮国民党站岗监视的特务，滚！”
殷海光被软禁很呕气，在家里生闷气，一吃饭的时候就呆坐在那里。李敖回忆，殷老师啊，就骂蒋介石，骂了半天，筷子一丢，也不吃饭了，最后得胃癌死掉了。胃癌形成的原因很多，可是一个重要的原因就是心情不高兴，哲学家得胃癌死掉，这是不相称的。如孔子所说，“斯人也而有斯疾也！”
他过世之后的第二年，坐牢十年的“政治犯”雷震出狱了。刚出狱，雷震就来殷家探视。夏君璐说，她仍记得身材魁梧的雷震一进门就大喊：“你的先生被蒋介石气死，我就没有！”当年他硬生生被蒋介石剥夺教职后，每天都坚持做点体力劳动。
殷海光一生极不善于应酬，交往的朋友不多。尤其是在20世纪60年代屡遭围攻、迫害的日子里，他的处境是很孤独的。在去世前一年，他在书信中说：“我的门早可罗雀了不说，我偶然上上街，十几年的老同事碰见了，有的似点头非点头地交臂而过，有的明明看见，转脸做购物状。任何地方，一听见‘殷海光’三字，就像瘟神到了，避之不及。这一点也不能错怪这些人。良以二十年来统治的恐怖形成的空气，所以，相对于我而言，台湾已成‘绝地’，无法谋生。”
而且，殷海光为人率直，经常受骗。他自己对此总结得很有意思：“简直太容易相信人了。在过去，来者只要吹三句自由、民主，谈点罗素，附带骂骂唐君毅头脑如浆糊，钱穆是义和团的历史鼓手，我便立刻引为知己，马上把心肝五脏都吐给他。哎！这类受骗的事太多了。所以，我现在变得对不够熟识的人谨严起来。”最严重的一件事发生在1961年，当时在雷震案发生后，台湾当局密谋以所谓的“除三害”计划引诱殷海光下水，再以“谋害台湾地区领导人罪”将其惩办。后来计划落空，但是殷海光的一位朋友却被诬告下狱。
胡学古就是被派来做那事儿的特务，最终却成为他的朋友，胡学古是跟随国民党部队来台的湖南人，曾任职于世新大学，因投稿《自由中国》与雷震、殷海光成为好友。他受过高等教育，却被派来做跟踪殷海光的狗腿子，自己也不是滋味。
殷海光与雷震都在《自由中国》发表尖锐文章得罪蒋介石，雷震于1960年9月被捕后，警备总部又打算陷害殷海光，编了一个殷海光密谋暗杀蒋介石的故事，打算逮捕殷海光。而胡学古在特务堆里被排挤，几次惨遭上级同事的诬陷，想把他打入狱中，胡也无时无刻不想反击。特务想暗杀殷海光，所幸被胡学古识破而拒绝合作，殷海光得以保命，但胡学古却成了“代罪羔羊”。1964年6月2日，胡学古被警备总部以“非法之方法颠覆政府”的叛乱罪判刑七年，证据只是一把打不死人的枪。更令人痛心的是，他还在狱中被整瞎一只眼睛。因为胡学古是个大近视，却被指控与台大教授殷海光密谋刺杀蒋介石并担任枪手，他们的案件本身，其实也见证了当年蒋介石、蒋经国父子恐怖统治下胡乱制造政治案件的荒谬。
殷海光遭到国民党政权的高层的迫害，根据他自己所说的“基本原因”，是他二十年来“不接受专制制度，尤其不接受法西斯型模的思想”，“显然，这是借‘反共’和‘反攻’来维持残余权势的集团所不能容忍的”。
9自我定位：自由思想者