中国古代小说有两个系统，即文言小说系统和白话小说系统。魏晋南北朝时期，只是文言小说。这时的小说可以统称之为笔记体小说，采用文言，篇幅短小，记叙社会上流传的奇异故事，人物的逸闻轶事或其只言片语。在故事情节的叙述、人物性格的描写等方面都已初具规模。作品的数量也已相当可观。但就作者的主观意图而言，还只是当成真实的事情来写，而缺少艺术的虚构。它们还不是中国小说的成熟形态。中国文言小说成熟的形态是唐传奇，白话小说成熟的形态是宋元话本。
“小说”一词最早见于《庄子》杂篇《外物》：“饰小说以干县令，其于大达亦远矣。”以“小说”与“大达”对举，是指那些琐屑的言谈、无关政教的小道理。后来，作为一种文学体裁的小说与《庄子》所说的“小说”含义虽不完全相同，但在古代，小说这种文学体裁始终被视为不登大雅之堂的东西。在这一点上，二者仍然是接近的。
东汉班固据《七略》撰《汉书?艺文志》，把小说家列于诸子略十家的最后。这是小说见于史家著录的开始。诸子略共4324篇，小说就占了1380篇，是篇数最多的一家。班固据《七略?辑略》说：“小说家者流，盖出于稗官。街谈巷语，道听途说者之所造也。孔子曰：‘虽小道必有可观焉，致远恐泥，是以君子弗为也。’然亦弗灭也。闾里小知者之所及，亦使缀而不忘。如或一言可采，此亦刍荛狂夫之议也。”这是史家和目录学家对小说所作的具有权威性的解释和评价。他认为小说本是街谈巷语，由小说家采集记录，成为一家之言。这虽是小道，尚有可取之处。班固明确地指出小说起自民间传说，这对认识中国小说的起源有重要的意义。
追溯中国小说的起源，有以下几个方面：
首先是神话传说。尽管古代文献对神话传说的记载十分简略，我们仍然可以从中看到故事情节和人物性格这两种重要的小说因素。神话传说原先在口头流传，有的被采入正史，遂逐渐凝固；有的继续在口头流传并不断丰富发展，分化出一些新的神和英雄，增添了新的故事情节。这些继续活在人们口头上的传说一旦记录下来，就成为具有浓厚小说意味的逸史。从神话传说到小说的这根链条中，逸史是关键的一环。甚至不妨说逸史是中国小说直接的源头，逸史中最接近小说或竟可视为早期小说的，莫过于《穆天子传》和《燕丹子》。前者对周穆王周行天下之事多有细节描写；其中的西王母与《山海经》中的记叙相比，减少了神性增加了人性。后者写燕太子丹派荆轲刺杀秦王，与《战国策》和《史记》相比，不仅增加了细节描写而且突出了燕丹这个复仇者的形象。（明）胡应麟称此书为 “古今小说杂传之祖”（《四部正讹》），不为无见。
其次是寓言故事。例如《孟子》、《庄子》、《韩非子》、《战国策》等书中都有不少人物性格鲜明的寓言故事，它们已经带有小说的意味。《韩非子》中保存寓言故事最多的《内储说》、《外储说》、《说林》，明白地用“说”来标目，也透露出两者之间的关系。显然，寓言故事可以看作小说的源头之一。
第三是史传。如《左传》、《战国策》、《史记》、《三国志》，描写人物性格，叙述故事情节，或为小说提供了素材，或为小说积累了叙事的经验。唐代传奇小说多取人物传记的形式，《三国志演义》径直标明是史传的演义，都证明了史传是小说的一个源头。在传统的目录学著作中，有些书或归入子部小说家类或归入史部杂传类，这两类缺少严格的区别，这也从一个侧面说明史传对小说的影响之深。
《汉书?艺文志》著录的小说15家，均已亡佚。今存题为汉人所著的小说，其实都是魏晋南北朝时期伪托汉人的作品，如托名东方朔的《神异经》和《十洲记》，托名班固的《汉武帝故事》。题为魏晋南北朝时期的小说很多，重要的如（三国魏）邯郸淳《笑林》，（西晋）张华《博物志》，（东晋）干宝《搜神记》，（宋）刘义庆《幽明录》、《世说新语》，（北齐）王琰《冥祥记》，（梁）沈约《俗说》，（梁）殷芸《小说》等，包括后人的辑本，共约五十种，足见其兴盛的情况。
