在中国古代典籍中，“小说”一词最早出现于《庄子》，意思是“琐屑之言”（鲁迅《中国小说史略》）。先秦两汉时期所谓“小说”实际指的是出于街谈巷语、内容荒诞浅薄、形式短小杂乱的杂记杂说，与后来“小说”作为一种文学体裁的意义完全不同。真正具有故事性并对后来的小说有着源头意义的是神话、宗教传说和史传文学，以及诸子散文中的寓言等。
神话传说富于想象，内容多与创世造物、自然、战争和发明创造相关，如“女娲补天”、“大禹治水”、“黄帝战蚩尤”、“后羿射日”，自然质朴，开创了神怪题材，为后世小说的发展提供了母题和想象空间。先秦诸子多善于用譬喻的方式说理，留下许多生动的寓言故事，如“叶公好龙”、“刻舟求剑”、“守株待兔”等，浅近简短，精辟形象。史传文学具有高超的叙事艺术，奠定了我国古代小说基本的叙事结构，其人物描写、历史题材和教化作用也对小说产生深远的影响。
中国古代小说到魏晋南北朝时期才初具规模。这一时期作品数量较多，内容丰富，主要分为两类：谈论神鬼的“志怪”与记录人物轶闻琐事的“志人”。“志”是记录的意思，志人志怪小说受史传文学“直笔实录”观念的影响很深，这时期的作品虽然在结构、情节、人物描写等方面有了基本的形貌，但缺少艺术的虚构。如志怪集《搜神记》，作者干宝是东晋史学家，他在《搜神记序》中表明自己力求“实”“信”的态度，明确写作目的就是证明鬼神的存在。《搜神记》的内容包括地理博物、鬼神灵怪、佛法灵异几个方面，其中一些以春秋战国时期的历史传说为题材的怪异故事有着反映社会现实的作用，表达了人民的情感态度，如“干将莫邪”的复仇故事，长期以来为人们所乐道。
这一时期重要的志怪小说还有南朝人刘义庆编撰的《幽明录》，记录了许多关于现实生活中道人俗士的奇闻异事。刘义庆还编撰了魏晋南北朝最重要的志人集《世说新语》，主要记录魏晋时期名士们的逸闻轶事，是一部品评人物的小故事集。《世说新语》语言简约生动，特别在人物刻画方面有相当高的艺术成就，对后世有着深刻的影响。
西厢记插图一般认为，中国小说的真正开端是在唐代，“至唐人始有意为小说”（鲁迅《中国小说史略》）。唐代出现了许多文人创作的文言短篇小说，后世称之为“传奇”，如《莺莺传》、《任氏传》、《南柯太守传》、《昆仑奴》等。传奇是唐代继魏晋志人志怪后新兴的一种文学样式，发展兴盛是在中唐时期，题材涉及爱情、豪侠、历史、仙梦等，其中爱情题材占有极大比重而艺术价值尤高。
爱情传奇以真实、热烈、生动、深切的男女恋情撼动人心，把异闻和言情相结合，反映现实生活。作品中的女主人公大都有着青春浪漫的愿望、果敢大胆的追求、顽强不渝的抗争、勇敢坚贞的品格，追求真爱，生死不渝，但是往往因地位卑微得到凄冷残酷的悲剧结局。可以说，爱情传奇的兴盛代表了唐代传奇的成熟，是唐传奇全盛时期的主要内容。唐代传奇语言华美，情节曲折完整，人物性格鲜明，标志着中国短篇小说体制成熟。
宋、金、元代，小说全面发展，也出现了许多优秀的传奇和志怪作品，如传奇小说选集《云斋广录》、志怪小说集《夷坚志》。另一方面，话本小说悄然兴起，与文言小说分流，并逐渐成为后来小说创作的主要流脉。话本即“说话”的底本，“说话”是市井中以说唱方式演出，取悦听众的一种表演形式，在宋元时期得到充分发展，日益繁盛。它以内容世俗化、语言口语化为主要特征，话本小说继承了这些特点。话本小说有固定的体制，一般分为入话、正文和结尾三个部分，通常开头用一首或一组诗词引起话题，结尾再用一首诗词作总结。其题材内容以爱情和公案为主，还包括灵怪、朴刀杆棒、神仙妖术等，代表作品有《碾玉观音》、《简贴和尚》、《错斩崔宁》、《西湖三塔记》。
元未明初，是中国小说发展的一个重要阶段，出现了《三国志通俗演义》、《水浒传》等长篇章回小说。章回小说是中国古代长篇小说的唯一形式，它在宋元讲史话本的基础上发展而成，分章叙事，分回标目，每一章回内容相对完整，可以自成一个段落，但各个章回之间又相互联系，连缀成一个整体。
长篇章回体通俗小说是明清文学的主要代表。明代（1368—1644）“四大奇书”《三国志通俗演义》、《水浒传》、《西游记》和《金瓶梅词话》带动了历史演义小说、英雄传奇小说、神魔小说和人情小说的繁荣。长篇小说创作逐渐从历代累积、集体创作走向个人独创，内容逐渐由历史重大事件走向日常生活，人物形象从英雄走向平常百姓，益加世俗化、平凡化、口语化，更加能体现现实的社会风貌和时代特征。
话本在明代大量刊行，一些文人有意识地模仿话本创作了供案头阅读的短篇小说，即“拟话本”。明代白话短篇小说集主要有冯梦龙编著的《喻世明言》、《警世通言》、《醒世恒言》和凌漾初编著的《初刻拍案惊奇》、《二刻拍案惊奇》，分别总称为“三言”、“二拍”。同时，文言短篇小说的创作也仍然大量存在。
到了清代（1644—1911），小说达到了长篇章回体裁创作的最高峰。吴敬梓创作的《儒林外史》是中国古代讽刺文学的杰出代表，它以独特的结构方式将科举制度下几代知识分子的境况遭际穿连于百年历史图景之中，博大而深刻，饱含了作者对当世文人命运的思考。曹雪芹的《红楼梦》一书更以高超的艺术水平和深刻的思想内容广传天下。
小说在近代继续发展，侠义公案和人情世态等题材随着社会文化的变更发生一定转向，出现了谴责小说、鸳鸯蝴蝶派小说等大量作品，取得了卓著的创作成绩，为“五四”后白话小说的发展提供新的启示和影响。