山水画是作为人物画的背景出现的。在魏晋就已逐渐发展，由背景作为主题。从顾恺之的人物画《洛神赋图》卷中可以领略到当时山水画的大致形貌，由此可见山水仍在部分的充当人物的衬景。南北朝时，山水画才逐渐从人物画中分离出来，成为独立的画种，宗炳《画山水序》是最早的山水画理论文章。与王微的《叙画》 或强调哲理性的显现，或重视抒情的表达，而且讨论了空间表现，奠定了中国山水画的理论基础。画论的出现，就证明山水画艺术即将迈上正确发展的轨道。
隋唐时代，中国的山水画已经成熟，唐代的山水画具有划时代意义，具体表现为两种不同风格的建立。展子虔《游春图》画法的特色，发展到唐代李思训、李昭道父子，便形成了一种“青绿山水”，成为中国山水画中一种独具风格的画体，区别与青绿山水出现了以王维为代表的水墨山水，为五代山水画的成熟提供了条件。五代和北宋是山水画发展的“黄金时代”。
宋代是中国绘画艺术的鼎盛时期，而五代则是通往这个顶峰的桥梁。在山水画方面，五代董源、巨然,荆浩、关仝分别开创或继承南北山水画派，呈现出从题材内容到形式风格的不同侧重与相异风貌。荆浩的《笔法记》是我国重要的山水画理论著作，在山水画领域发展了谢赫的“六法”。宋代的山水画，发展了多种风格，达到了前所未有的成就。李成，范宽是北宋初期最著名的画家，也是中国山水画发展史上“百代标程”的重要人物。一方面是水墨山水的大发展，开创了北宋山水画的新局面，开大写意山水的先河。有代表性的画家是郭熙、米芾父子。郭熙父子的《林泉高致》则围绕中国山水画创造的核心意境问题，系统地总结了经验，使中国山水画理论更加系统化。南宋四家李唐、刘松年、马远、夏圭，他们在山水画坛上创造出“水墨苍劲”的新风格，创造出边角取景法，使山水画产生新的意境。另方面是青绿山水的表现手法更丰富了，在重彩中讲究笔墨技法，提高了青绿山水的表现力。现存王希孟的《千里江山图》，是宋代青绿山水的代表作。赵伯驹、赵伯啸兄弟，继承了青绿巧整一路风格，形成了南宋青绿山水的复兴局面。另一方面，北宋流行一类被称为小景山水的创作。
