到了后来，刘发这一脉越来越不争气。到刘发的儿子一代直接从长沙王变成舂陵节侯，踩了一脚倒档——降级了。侯爷毕竟也是个爷，虽然不如王爷威风，但勉强还可以撑个场面出来，以后的日子就更加悲催了。
侯爷的爵位传了三代，王莽就上台了，刘家的生意越来越不好做。在王大司马当政的这些年，最后一代侯爷刘仁的孙子刘外当了郁林太守，基本上也就跟弼马温一样不入流了。
刘外的儿子刘回成了巨鹿都尉，基本上已经成了个中等人家。三妻四妾还是没有问题的，但是社会地位基本上已经没有了。在心里自美一下还行，拿出去炫耀的话，只怕没人会把他当回事儿了。
刘回的儿子刘钦更惨，当了南顿令，就是个县长的级别吧。从一个诸侯国的统治者到县令，这个落差可是够大的。这还不算完，接下来的经历更惨，刘钦没什么能力，生的孩子不少，三个儿子三个女儿，但是都没有能够当上公务员。最小的儿子，只能给人家放牛，但是他放牛的成绩很不错，最后当上了皇帝，就是刘秀。
刘秀的父亲死得早，他寄人篱下，在叔叔刘良家里混口饭吃，他的哥哥刘演是社会上的黑道大哥，喜欢结交一些狐朋狗友，每天就是吃喝玩乐，亡国的事情似乎跟他完全没有关系。
不过，他的人脉的确很广，四临八乡的流氓和他混得都不错，刘秀后来的发迹和这位黑社会大哥也是分不开的。
刘秀是个高穷帅，长得不错，学习还行，当个儿童团员没问题，就是家里揭不开锅。以他当时的条件，居然也敢暗恋南阳郡第一美女——阴丽华。这是一段传奇故事。
当时的阴丽华是天上的仙女，而刘秀是放牛的穷小子，刘秀的这种念头顶多也就是一种追星。阴丽华从来都不知道自己有这么一位倾慕者，他一直没有谈恋爱，一直都在默默地等着阴丽华。
为了得到阴丽华的爱慕，刘秀决定要做出一点成绩来，他跑到长安城去上大学。由于他小时候家里太穷，基础没有打好，成绩一直都是平平，在班里进不了前三，更加谈不上才子，倒是认识了几个后来赫赫有名的同学，比如帮助他打天下的邓禹这些人，也算没有白读书。
因为学习成绩一般，眼看考研希望不大，刘秀只能回家继续放牛。就在这个时候，王莽给了他希望，王莽的改革把全世界的人都搞成了脑残，大家不知道该如何活下去，纷纷起来造反。这个时候，刘秀家里也遭难了，还是因为他的大哥刘演这厮在黑社会里面混得太好，名声太大，大约在省长那里都挂了号，属于必须被清除的黑五类。
有一次，他的一个手下偷了地主家的牛，人家报了案。虽然说县令没有任何的证据，但是作为当地的黑社会头目，刘演成了头号怀疑目标。县令抓了些线人一审问，果不其然就是他手下做的，两兄弟没办法只好外出逃难。
当时南阳郡也正在闹饥荒，他们在二姐家里住了一段时间，二姐家也不富裕，养不起两张嘴，他们就开始动歪脑筋。根据史书的记载，天下大乱，“谶语”出现了。对于“谶语”这两个字，有些学者的解释就是“神秘预言书”。每当天下大乱的时候，这东西就会出现。当时谶语的说法就是，将来有一个叫做刘秀的人会当皇帝。碰巧，当时王莽的国师也叫刘秀。
所以王莽斩杀了这个刘秀，如此一来，真正的刘秀名声大噪，王莽等于是给他做了一个活广告。
国师刘秀有一个学生叫做李守，他回家把这件事情跟儿子说了。儿子李通说我有个同学也叫做刘秀，于是他把刘秀找来，直截了当地就问他有没有当皇帝的心思。刘秀当他开玩笑，说，我一个放牛娃当什么皇帝，我距离皇帝还有十万八千里呢，村长我都不够格。
刘秀同时也想，自己虽然没有这个想法也没有这个能力，但是他的大哥刘演早就有这个打算了。刘演的手底下也的确有一票兄弟，于是回家跟大哥商量。
刘演听了他们的计划，把脑袋晃得像波浪鼓一样：这事儿别找我，我不做大哥好多年了。我现在是个自食其力的庄稼汉、守法公民，跟你们不一样。其实他是在装孙子，他害怕被出卖，造反的事情早就准备好了，而且他还秘密地联络了两只绿林军的人马。