严光望着光武帝的背影，心中犹如打碎的五味瓶，酸甜苦辣咸什么味都有。身为读书人，自幼都是学得圣贤书售与帝王家，治国齐家平天下是每一个有识之士的人生追求，在“达则兼济天下，穷则独善其身”的选择中，严光本来可以“兼济天下”，可是，他却违背一个学者心志而选择了“独善其身”。他这样选择是无奈的，也是痛苦的，至于他为什么要这样选择，严光无法回答刘秀的提问，每当触及这个问题时，他的心头总在隐隐作痛，也感觉心中那曾经客观存在的伤口在汩汩流血，这伤口是一个女人给他留下的，就是当今皇后阴丽华，其实，这事与刘秀的一句玩笑有关。
那时，严光与刘秀同在长安太学求学。一天，严光与刘秀一道上街，迎面传来一阵吆喝声：
“闪开，闪开，快闪开，王大人过街了！”
随着这一阵吆喊，一队手技剑戈的兵丁在前开道，接着是八匹马的全副武装，骑兵示威，随后有五色彩旗队作导引，然后才是金盔银甲骑着高头大马的京师警卫官执金吾王羽，他身后是一串长长的巡逻队伍。
其实，这个场面刘秀已经见过多次了。今日相见仍然不胜感叹，他目不转睛地盯着王羽的仪仗队走过，那羡慕的劲儿甭提了，严光连喊他三声，刘秀才依依不舍地离去，随口说道：
“做官当作执金吾，娶妻当娶阴丽华。”
当时严光不解地问：“刘兄弟说‘做官当作执金吾’我明白，可‘娶妻当娶阴丽华’我就不明白了，阴丽华是何许人，竟令刘兄如此痴迷？”
刘秀一听严光问及阴丽华，马上来了精神，眉飞色舞地介绍说：“阴丽华是南阳新野的美女，有‘南阳一枝花”的美誉，人长得赛西施胜王嫱，沉鱼落燕之容，闭月羞花之貌，人见不走，鸟见不飞，河见不流，山见低头，就是公鸡见了也直打咯咯，只要能与她说上一句话包你三天三夜不睡觉。”
严光见刘秀说得这样玄乎，开玩笑地问道：
“如果同这女人睡上一觉，你将有什么感觉？”
刘秀一听，马上说：
“只要能同阴丽华共枕一刻，就是让我去死也心甘。”
严光立即笑道：“有机会我一定去见一见这女人究竟长得有多漂亮，能令刘小弟如此动心，只怕是他在太学呆得时间长了，看见什么女人都觉得漂亮吧，可能见了老母猪也说长了双眼皮。”
刘秀见严光取笑自己，不服气地说：
“明年假期我回家，一定带你到新野见识一下阴丽华，保证让你口水直流到地上。”
后来，严光随刘秀来到南阳，专门去新野见识一下阴丽华。阴丽华虽然不像刘秀所形容的那样美绝古今，但也确实国色天香，被誉为“南阳一枝花”并不过分。
就是那一见，从此以后，阴丽华的形象就在严光心中扎了根，再也抹不掉。
在严光太学求学结束时，他专程赶到新野去再见见阴丽华，谁知严光到达新野后并没有见到阴丽华，一打听才知道阴丽华随母亲到舅家去了。
严光失意而归，途经洛阳时，他顺便在洛阳逗留几天，拜访一位朋友，就在这时发生了一件意想不到的事。
那天是洛阳一年一度的重阳节，严光到洛阳城北万菊楼赏菊，正当他留恋忘返时，猛然听到一个少女的失声尖叫声，只见两个五大三粗的男人正在追逐一个少女。那个少女惊慌失措的身影令严光微微一怔，莫非是她？急忙向那个少女跑去，走近一看，果然是他梦中的情人阴丽华。
这时，这两个五大三粗的男人已经追到阴丽华跟前，一前一后截住她，其中一人一边说着下流的话一边动手动脚，试图要把阴丽华揽在怀里。
严光怒不可遏，不顾一切地冲到阴丽华面前挡住了那歹徒的手，大声斥道：
“无耻歹徒，光天化日之下竟敢调戏良家妇女，还有没有王法？”
那两个歹徒见有人来搅他们的好事，心中自然气愤，自以为在洛阳城北他们大虎二虎兄弟俩没有人敢管，想不到今天好事没做成，却半路上来个不怕死的。大虎、二虎一使眼色，暂时扔下阴丽华，一前一后向严光逼来。
尽管严光在太学攻读时也学过一些剑术与拳套，但毕竟身单力薄，哪是这两人对手，一顿毒打早把严光打得鼻青眼肿，他们边打边骂：
“揍死你这龟孙王八羔子，你小子也打听打听我兄弟二人是谁，在这洛阳城北提起我兄弟的大名，谁不怯上三分！”
“哥，别打了，先找到那个姐再送他上西天？”
“不，那妞儿跑不远，先收拾他后找那妞儿，不然，这小子又要去搅咱的浑水。”
严光虽然被打也不示弱，仍然理直气壮地嚷道：
“真是没有王法了，调戏民女，还敢动手打人，我要去告官，不把你们两个歹徒绳之以法决不罢休！”
大虎气了：“这小子好嘴硬，爷今天不拆了你的骨头架子喂王八，算爷百活这几十年，二弟，给我往死命里打，看他能到阎王那里喊冤！”
果然，二人加重拳脚，大虎亮起一拳打向严光头部，严光只觉头脑一轰就失去了知觉。
当严光醒来时见自己正躺在一间布置考究的居室里，正当严光不知自己身在何处时，进来一名少女正是阴丽华，严光十分激动，想开口说上一句话，嘴张了几张也没有发出声来。
阴丽华见状，急忙安慰说：
“公子安心躺着吧，你的身体虚弱，需要静心养病。”
尽管严光头昏脑涨，浑身疼痛，但这几句关心的话语犹如灵丹妙药，严光顿时觉得浑身舒服多了。从阴丽华感激的目光中严光也感到欣慰，庆幸自己来到洛阳，更庆幸自己挨了打，不然，怎么会有这么一位如花似玉的妙龄少女服侍他呢？
事后，严光才从阴丽华口中了解那天的情况：就在严光被大虎打昏时，阴丽华舅舅带着几名家兵闻讯赶到，打跑大虎、二虎救出严光。阴丽华外公严氏家族在洛阳城也是数得着的大户之家，那天阴丽华舅舅严尤带着阴丽华到万菊楼赏花，恰好碰着几位朋友，便让一名侍女陪阴丽华赏菊，他同朋友一起上楼下棋去了，直到那名侍女上楼报信，严尤才知道外甥女遭歹人调戏，十分气愤，使带着随身四名家兵赶来。
大虎、二虎听说自己刚才调戏的女子是严尤的外甥女，现在打的是严尤的家人，也吃惊不止，因为严尤的势力在洛阳不在他们大虎、二虎兄弟之下，二人向严尤道个歉匆匆跑了。严尤虽然不怕这俩虎，但也拿他们没办法，当时也只是喝斥几句就算了。
无论如何严尤是因为自己外甥女被打，万一出了人命自己脸上也无光，因此，严尤便命人把严光抬回府中调养。严光一连昏迷三天才醒来，也幸亏严尤派名医治疗及时才使严光很快康复了。
在严光养病的这段日子里，严光与阴丽华天天几乎形影不离，二人起初还有点拘束，随着彼此了解的加深，二人的话就多了，谈起话来时常是不知不觉半天就过去了，有时为了一个问题也争论不休。当阴丽华得知严光是从长安太学专门到南阳看她来的，有说不出的感动，严光也认为他们二人能在异地相逢是上天的缘份。
严光对阴丽华的挚爱自然不用多说，这多日来，阴丽华对严光也有几分爱慕之情。她见严光不仅人长得潇洒倜傥，人品极佳，而且博学多才，如今又在太学攻读，将来的前途不可限量。
当严光身体完全康复时，他与阴丽华的感情也发展到如胶似漆的地步。这时，阴丽华母亲也急着赶回南阳催女儿快走，严光知道离开太学时间太久了，也怕人追问，二人只好含泪而别，谁知二人一别竟然从此天涯陌路。
当严光回到长安太学时，一封父亲病危催他回乡的家书已经存放多日了。严光匆忙赶回会稽余姚，当他回到老家时，父亲已经病入膏盲，不久就离开人世，严光遵循家训，奉母在家守孝三年。在这短短的几年里，天下形势剧变，各地反莽义军风起云涌。首先是琅玡人吕母起义，王匡、王凤在绿林山起义，接着。樊崇、马适、秦丰、迟昭平等人也都纷纷举起义旗，就连严光家乡附近也都掀起一支不大不小的起义军。不久，严光又了解到自己太学同窗好友刘秀也参加了义军并成为头领，严光心有所动，决定北上中原投奔刘秀义军，更主要的是借机寻找他挚爱的情人阴丽华。在他守孝几年里，严光也曾派人去南阳新野打探阴丽华的消息，但得到回报却是阴氏全家搬迁，下落不明。
当严光得知刘秀取得昆阳大捷后，他十分兴奋，星夜赶赴昆阳，他到达刘秀军中时，一个做梦也想不到的消息震惊了他，从此改变了他一生的选择。那时，刘秀正在这里举行大婚，新娘就是阴丽华。
严光得到这一消息犹如五雷劈顶，他不明白阴丽华为什么会同刘秀结婚，是刘秀的威逼利诱还是阴丽华见刘秀势力大增而主动投入怀抱，他一怒之下想去问个究竟，但转念一想，无论如何自己前去都是自寻屈辱。严光仿佛在转瞬间苍老许多，对人间世事也有看破之念，当他回到余姚时又大病一场，病后更是看破红尘，从此断绝入仕的心愿。
往事如过眼云烟，但回想起来又历历在目，一切又仿佛就在昨天。严光不知道刘秀是否知道他与阴丽华的那段感情，凭直觉他感到刘秀不知道，他估计阴丽华也不会把一切告诉刘秀的。
严光本来发誓永远不踏进洛阳半步，事隔多年，他又鬼使神差地来了，他要圆一个年轻的梦。可是，当他见到刘秀时他的心又动摇了。
光武帝好久没有出宫这么痛痛快快地乐一乐了。
今天，不知是因为有同学相伴，还是因为行猎时有了兴头，总之，刘秀的运气特别好，较往常捕到的猎物特别多，他也特别兴奋，中午又和严光等人在邙山脚下野炊一顿，下午接着行猎，一直打到天色已晚才依依地离开邙山猎场。
当光武帝车驾仪仗回到洛阳西门时，城门已经关闭。刘秀命护驾御林军上前喊门。不久，御林军校尉张宗回来报告说，守门将官拒绝开城门。
刘秀见严光正坐在旁边，他觉得很没有面子，生气地斥道：
“你为何不说朕在此，急着回宫？”
张宗急忙施礼答道：“回皇上，臣说皇上行猎在此，要他们立即打开城门，可他们推说看不清皇上是否在此，拒绝开门。”
“今日是何人负责驻守西门！”刘秀不满地问道。
“执金吾郅恽。”
刘秀看着严光，迟疑一下说：
“朕亲自到城门前让郅恽看个清楚，看他还敢不开城门！”
刘秀命人驱车来到城门前，然后对张宗说：
“你去上前喊门，让郅恽看得仔细一些，瞧瞧是不是朕在此！”
张宗上前高声喊道：“郅大人，皇上在此，请你看仔细些，快开门让皇上回宫。”
谁知张宗话音刚落，郅恽就在城上大声说道：
“皇上以勤政著称于天下，怎会私自出城行猎呢？即使偶尔行猎也决不会天晚而归。对于关城门的时辰皇上怎会不知而故意推迟入内呢？皇上曾经有令，城门一旦关上，除非重大军情，一般不许私开城门。”
张宗急了也大声说道：“皇上就在城下，怎么叫私开城门呢？郅大人难道敢不奉诏令吗？”
郅恽仍然装糊涂说：“天色已晚，看不清城下是何人，倘若有人冒充皇上来骗开城门，这个罪责何人敢当？”
郅恽的话刘秀听得一清二楚，他铁青着脸对张宗说：
“不要再同他多费口舌了，随朕到北门，入城后朕再收拾他！”
刘秀一言不发来到北门，北门守将崔进一听说皇上狩猎归来，急忙打开城门，亲自出城把刘秀迎入城内，刘秀的脸色这才缓和一些，向严光说道：
“崔进是朕一手栽培起来的年轻将领，值得信赖，可以大用，而郅恽则自以为有功，倚老卖老，朕一定好好教训教训他。”
一直沉默不语的严光这才说道：“以我一个草民之见，皇上应该严惩崔进而重奖郅恽才对。”
光武帝不解地问：“这是为什么？”
“道理很简单，郅恽是听从皇上守城禁令，恪遵职守，一丝不苟，秉公办事。而崔进却是一听皇上之名也不详察就慌忙开门，这是徇私舞弊，趋炎附势，玩忽职守。”
光武帝一听严光说得有道理，频频点头，忽然又问道：
“子陵如何看待朕今日的游猎呢？”
严光说：“皇上整日操劳于国事，偶尔在闲暇之际出宫游猎消遣一下疲劳也有利于身心健康，这是无可厚非的，也是百姓欣欣然有喜色而相告的事。可是，皇上一旦沉缅于游猎，乐而忘返，乐而忘却国家大事就不应该了，这就是过度吧。”
光武帝接受了严光的建议，第二天早朝上亲口向群臣致歉，并恳请众人监督，文武大臣也被光武帝的诚心所感动，齐声高呼万岁。
光武帝命人把执金吾郅恽宣上殿，对他大加赞扬，并赏赐他布帛百匹，良马十匹，以表示自己的致歉和厚爱。相反，光武帝也命人把崔进叫上殿，当着文武大臣的面把他训斥一顿，撤了他的北门侯一职，降为参封县县尉。
光武帝散朝回宫，严光就来向他辞行，光武帝不解地问：
“子陵，你刚来就这么急着要走，朕还有许多事要请教呢。莫非是朕慢待了你，还是宫中有人对你不敬？若是朕的过失朕一一定改正，倘若是属下人对你不敬，朕一定严惩，决不手软！”
“皇上误会了，皇上敬我如上宾，宫中侍从人哪敢对我不敬，我在山林草野间随便惯了，不习惯这宫中束缚，何况皇上也忙，我就不在此打扰皇上了，只想到洛阳市面上溜达溜达，然后就回余姚老家。”
光武帝挽留说：“朕马上命小黄门传下话去，你可以随便在宫中走动，可以不受宫中的条条规规的限制。如果你想到京师各处走走，朕给你安排一乘车子，派四名便衣御林军侍从左右。”
严光连连摇手：“皇上折杀老朽了，这宫中我也不想走动了，京师也不想遛了，只想尽快回乡。”
光武帝看看严光：“子陵不远千里来京，该不会只是为了向朕举荐张佚与桓荣吧？”