如果说一个严光让刘秀伤透了脑筋，严光走后，刘秀并没有轻松，他还在为一个人伤脑筋。这个人便是桓谭。
桓谭，字君山，沛国相（今安徽省濉溪县）人。他是有名的才子，主要表现在四个方面。
一是桓谭精通音律。这个一半是天生的（桓谭的父亲是汉成帝时的太乐令，桓谭出身文艺世家），一半是后天的（桓谭是个积极向上的人，凡事勤学苦练，喜爱钻研），因此，在音律方面有自己独到的见解，造诣很深，尤其是擅长鼓琴，可以说是达到了炉火纯青之境。
二是桓谭才识渊博。桓谭从小习读《五经》，并且有自己独特的方式。他学习《五经》并不寻章摘句，他喜欢深思其中的含义，因此，可以说做到了举一反三，融会贯通。
三是桓谭口才极佳。桓谭不但满腹经纶，文章写得一流，而且还善于表达，善于辩答，曾经多次和刘歆、扬雄这样的高手辩论，往往能够一针见血地直击问题的最深处，令人无懈可击。
四是桓谭个性飞扬。桓谭为人不拘一束，他平时不修边幅，又喜欢吃喝玩乐，一副放荡不羁的形象，尤其喜欢嘲笑那些对大道至理一知半解的俗儒。
结果就是桓谭的这种任性伤了很多人，弄得自己经常遭人排挤，在仕途这条路上遇到了挫折和打击。在汉哀帝、汉平帝年间，桓谭一直是候补官员，从未正式任职。
是金子总会发光。尽管遭遇到了无情的打压，但桓谭还是没有被埋没，很快露出头角来。汉哀帝刘欣是同性恋，宠爱帅哥董贤，董贤的妹妹是昭仪，仅次于皇后。傅皇后既没有性也没有爱，还要忍受同性恋的肮脏和龌龊，非常郁闷，几欲自杀。
傅皇后的父亲孔乡侯傅晏忧心忡忡，他请教了桓谭，桓谭说：“昔武帝欲立卫子夫，阴求陈皇后之过，而陈后终废，子夫竟立。今董贤至爱而女弟尤幸，殆将有子夫之变，可不忧哉！”
在西汉的正式文件中，一直声称陈皇后陈阿娇是由于携媚术、做巫蛊被废。为了维护这个谎言，西汉政府下了很大力气，与汉武帝“胸怀大志”不符合的记载一律删除，有敢于对此事发表言论的一律杀掉，但却挡不住桓谭这样的高手，他一针见血地指出陈皇后之所以被废，就是因为汉武帝阴损，他“阴求陈皇后之过”。
孔乡侯傅晏此时是西汉政府政治局常委级别的高官，他并没有和桓谭这个“大谣”争论，赶紧问桓谭怎么办。桓谭说：“刑罚不能加无罪，邪枉不能胜正人。夫士以才智要君，女以媚道求主。皇后年少，希更艰难，或驱使医巫，外求方技，此不可不备。又君侯以后父尊重而多通宾客，必借以重执，贻致讥议。不如谢遣门徒，务执谦悫，此修己正家避祸之道也。”
说实在话，桓谭的计策之所以成功是有一定运气的。傅皇后嫁给汉哀帝，这是傅太后一手促成的，连汉哀帝当皇帝也是傅太后运作的，汉哀帝不管有多大的胆子，只要傅太后健在，就不可能废掉她的侄孙女傅皇后。后来傅太后过世了，汉哀帝直接掌握了权力，果然抓捕了傅皇后的弟弟傅喜，傅喜早有戒备，绝不屈打成招，正赶上汉哀帝过世，这事也就不了了之了。
汉哀帝的同性恋男友董贤当时官拜大司马，相当于汉军总参谋长，他知道桓谭有水平，也想套套近乎。结果任性的桓谭根本就不吃他一套，马上给他写了一封信，奉劝他做事不要太过分，否则性命难保。接到恐吓信，董贤知道桓谭和自己不是一路人，只能各行其道了。
后来王莽掌权，为了能够当皇帝，他做了很多慈善事业，经济适用房就建了一千多间，全部送给了在长安学习的知识分子。一时间王莽的名字如日中天，连汉室宗亲刘歆都成了王莽的宣传部长。桓谭对王莽看得很清楚，他独守自身，“默然无言”。王莽对桓谭这样一位大儒还是很拉拢的，他提拔桓谭为掌乐大夫。王莽失败后，桓谭在更始政权中官拜太中大夫。刘秀即位后，桓谭被征召，但没给什么职位。
对此，桓谭没有自暴自弃，自哀自怨，而是选择了自强不息，自力更生。就在这段有官无职一身轻的时期，桓谭完成了他人生的蜕变，他完成了自己的大作，也是流传后世的名著《新论》。据说《新论》原书是二十九篇，早已亡佚，经后人辑录，仅得十六篇。尽管已经不是原本了，但我们仍然可以看出桓谭的一些思想。后世对桓谭评价很高，认为他是一位唯物主义哲学家。
当然，如果我们仔细分析，就能得出这样的结论：桓谭写作《新论》的目的和司马光编《资治通鉴》的目的一样，就是辅助政治。
桓谭在《新论·本造》（相当于序言）中明确宣布“谭见刘向《新序》、陆贾《新语》，乃为《新论》。”刘向的《新序》是把历史资料编辑起来用于讽谏政治，陆贾的《新语》是对秦朝灭亡教训的总结，也是文景之治的治国纲领，桓谭的《新论》主要是从王莽败亡的过程中吸取教训，就事论事，显然是这种思想的延续。
然而，尽管桓谭一直在努力，想通过立论古今来达到吸引刘秀注意力的目的，但结果却令他大失所望，刘秀对他的鸿篇大作根本不感冒，都默然视之。
对此，桓谭充分发挥不灰心、不气馁的作风，随后多次上书刘秀，想通过这种“真情告白”的方式来博取刘秀的“芳心”。结果还是成效甚微，刘秀依然对他默然视之。
看样子凭桓谭个人能力是没办法让刘秀发现自己了。好在这时，他人生中的伯乐出现了——大司空宋弘。宋弘发现桓谭是位不可多得的超级人才，马上向刘秀推荐了他。宋弘是刘秀颇为器重的人，他的推荐引起了刘秀的注意，于是给了桓谭一个议郎给事中的官职。
议郎成了桓谭的平台，也成了他的舞台，他有了向刘秀一展自己的才华的机会。原本就喜好音乐的刘秀，平常听的都是正儿八经的官曲，突然听到桓谭来自民间，来自大自然的天籁之音，很快就痴迷了。桓谭的音乐高山流水、怒海波涛尽在其中，普通乐师根本比不了，刘秀越听越好听，到后来便经常让桓谭为他鼓琴弹奏。
玩物丧志，大司空宋弘看不过去了，他对桓谭进行了告诫：“吾所以荐子者，欲令辅国家以道德也，而今数进郑声以乱《雅》《颂》，非忠正者也。能自改邪？将令相举以法乎？”桓谭也不是主意特别正的人，他赶紧改过自新了。
后来，桓谭以各种理由拒绝为刘秀弹琴，而是改为上书，说的多是平常之事，谈的多是兴国之声。他向刘秀呈上《陈时政疏》，提出了四大兴国建议。
一是任用贤人。他指出：“国之废兴，在于政事；政事得失，由于辅佐。”所以要任用贤能，争取“政调于时”。
二是设法禁奸。他建议，申明法令，惩办行凶违法者，包括知法犯法者，争取社会安宁。
三是重农抑商。他建议打击兼并之徒和高利贷者，不让商人入仕做官，让诸商贾互相揭发奸利之事，除了劳动所得之外，把一切非法所得都赏给告发者。这样，就可以抑制富商大贾盘剥百姓，而劝导百姓务农，多生产粮食而尽地力。
四是统一法度。他强调“法令决事，轻重不齐，或一事殊法，同罪异论”。这就容易被奸吏钻空子而“因缘为市，所欲活则出生议，所欲陷则与死比”，这样上下其手，必然使奸猾逍遥法外，而使无辜者受害。现在应令通义理、明法律的人，“校定科比，一其法度”，通令颁布，使天下人遵守。这才可使吏民有法可依，而难以胡作非为。
桓谭的上书归纳起来为十六个字：关注民生、任人唯贤，改革创新、反腐倡廉。字字真情流露，句句真情实意，他的爱国之心可见一斑。
实际上光武帝刘秀发愁的正是这件事，刘秀是个打假求真的皇帝，他看透了王莽的欺诈，也看透了西汉的做作，但是他没有看透儒家思想的虚伪。刘秀是个做事的人，他不是一个理论型人，他始终没有提出一种新的治国理论，无奈之下采用了谶纬学说，这成为东汉二百年统治核心弱点。
刘秀开创的东汉王朝相当真实，但他所崇尚的儒家思想却非常虚伪，这个内在矛盾始终没有解决。东汉一朝，不管是皇帝，还是太后，还是权臣，大都比较敬业，不乏积劳成疾的案例。但是，东汉和西汉一样，也只是存在了二百年，后来的党锢之祸、黄巾起义多少都和统治理念不清晰有关系。
桓谭就是上天赐给光武帝的机会。那年，朝廷中讨论把灵台建在何处，刘秀对桓谭说：“吾欲以谶决之，何如？”
桓谭沉默良久，思想斗争了半天，说：“臣不读谶。”刘秀问其中缘故，桓谭引经摘句，进行了阐述，归纳起来为三个方面。
一是谶记纬书是邪门歪道，并非仁义正道。
二是唯一有益于政道者，是合人心而得事理。
三是万物相生相克，生生不息，生老病死，因果循环，皆是自然现象。总而言之，桓谭认为谶纬纯属旁门左道，和儒家经典无关，和治国之术无关，和民生百姓无关。
刘秀闻言，怒不可遏，最后来了个怒吼：“桓谭非圣无法，将下斩之！”
桓谭显然还没有达到为论而死的境界，桓谭显然还没有舍生取义的崇高，在生死一线间，他反应迅速，立马把头使劲地往地上叩，真叩得头破血流，血肉糊涂……眼看再闹下去，便要闹出人命来了，良心发现的刘秀怜悯之下，赦免了桓谭的死罪。
死罪可免，活罪难逃。桓谭的人头是保住了，但头上的乌纱帽却丢了。本着眼不见心不烦的原则，刘秀将桓谭贬为六安郡丞（相当于郡守的副手）。
辛辛苦苦一辈子，一夜回到解放前。对于桓谭来说，他努力了这么多年，奋斗了这么多年，从大的意义上来说，是为国为民，兴国安邦。从小的层面来说，就是为了人生梦想、个人抱负。刘秀贬他去基层为官，这显然是一个极为危险的信号——失去了宠信，仕途已经被毁了；这显然是一个难以忍受的事实——出宫容易进宫难，这从中央下调到地方去了，想要再回中央，简直是难于上青天。
刘秀无情、绝情，桓谭悲情、伤情，心高的他哪里能经得起这样残酷的折腾，气傲的他哪能经得起这样无情的打击？上任的路成了桓谭的黄泉路，他闷闷不乐，郁郁寡欢，古稀之年的他最后两眼一闭，一辈子就这样过去了。
值得一提的是，桓谭去世时，他的绝世大作《琴道》还有一篇没有完成，刘秀的后来人肃宗后来令班固继续完成。元和中年，肃宗到东边巡狩，特派使者祭祀桓谭墓冢，这成了桓谭家乡人引以为荣的大喜事。