我国的山水画发端于六朝，成形于隋唐，而兴盛于宋元。六朝时的画家如顾恺之、宗炳、王微等都为山水画的发展做出过贡献。但是当时的山水画还依附于人物画，尚未能突破“人大于山，水不容泛”的幼稚画法。至于隋朝，山水画才真正脱离人物画，陈维一个独立的画种。
隋展子虔的《游春图》被认为是现存最古老的山水画作品。当然它也不是真迹，而是宋人的摹本。它成功的再现了早期山水画大量使用渲染、细笔钩描，不用皴法的技法特色。着色方面，《游春图》用花青作大点以为青苔，金泥作山脚，山水重用青绿，松身用赭石，树色仅仅用渲染而不细分。这种风格，开创了后来山水画的一大门类--青绿山水，影响及于盛唐的大小李将军，北宋的赵伯驹、赵伯肃兄弟、王希孟等。甚至于水墨山水画的一代巨匠五代董源早年都追随过这种画风。《游春图》的作者展子虔，渤海人，生活于北齐至隋初这段时期，在隋朝还担任过朝散大夫等职。与其齐名的郑法士，是当时著名的人物画家，但也作山水画，北宋时尚有作品传世，可惜今已不存。
除了长于人物，兼画山水的阎氏兄弟外，初唐的山水画家并不多。到了盛唐，则陡然名家辈出，繁盛一时。其中最著名的当属被尊为“画圣”的吴道子，以及被明人推为山水画“北宗”鼻祖的李思训和“南宗”鼻祖的王维。
吴道子又名道玄，河南阳翟人。张彦远《历代名画记》称他“事逍遥公韦嗣立为小吏，因写蜀道山水，始创山水之体，自为一家。”他早年生活并不很好，后来得到唐明皇的赏识，遂名噪一时，据说由于他太有名，有很多人向他求画，最后唐玄宗竟下诏命他“非有诏不得作画”。他稍后作了宁王友，宁王李宪的艺术天分非常高，善画鹰，吴道子对他来说实际上亦师亦友，此后他便时常出入于贵族社会。前引《历代名画记》称他写蜀道山水自成一家，有一个故事讲天宝中唐明皇命他去写嘉陵江三百里山水，回来的时候却发现他还没开始，便问他缘故，他回答说全部记在了心中，于是因壁作画，一日而毕，唐明皇对此大为叹赏。
这个任务唐明皇同时也交给了当时另一位著名的贵族画家李思训，李思训用了几个月夜将它画好。唐明皇评价：“李思训数月之功，吴道子一日之迹，皆其妙也！”
李思训是唐朝宗室，正史有传，生于唐高宗永徽二年，卒于唐玄宗开元六年，官至左羽林大将军、右武卫大将军，封彭国公，他死后当时文学家李邕为其撰有著名的《云麾将军碑》。这便看出一个问题，既然他开元六年就去世了，那么天宝中和吴道子一起化嘉陵江山水必定是后人的误传。自然而然可以推出，反映安史之乱时期唐明皇逃往成都的著名青绿山水画《明皇幸蜀图》也不是他的作品，所以更多的人认为该画为其子李昭道所作。但这个讹误却反映了李思训的一个特色，即他用笔极其精细，与吴道子绝然不同，这也是李思训的一个招牌，后人多根据这一点来判断一些画家是否学过李思训另外，他将展子虔的青绿山水推向了更高的层次，技法上以青绿为质，金碧为文，作品更加富丽堂皇，迎合了当时贵族社会所需要的富贵气象。唐人对李思训的评价是很高的，朱竟玄的《唐朝名画录》称：“格品高奇，山水绝妙，鸟兽草木，皆穷其态”，又称“国朝山水第一”。他的儿子李昭道也是著名的山水画家，和他合称“大小李将军”，但李昭道并未做过将军，仅仅官至中书舍人。张彦远称他“变父之势，妙又过之”，但朱景玄认为他“笔力智慧不及其父”。现今二李传世作品有《明皇幸蜀图》、《江帆楼阁图》等，但可能都不是真迹。
大家熟知的诗人王维也是当时的山水画大家。他一度被认为是水墨山水画的始祖，但从盛唐的一些文学作品中可以看到水墨山水在当时应该是比较流行的，所以创始人未必是王维。明人莫是龙、董其昌等的南北宗理论称王维是文人画的祖师倒还有道理。然而他们认为从李思训、王维开始山水画出现南北分野却是极端错误的。二人风格并非完全割裂，而有相同点；后来所谓的南北派也并非泾渭分明，而是互有渗透。例如李思训的笔法精细，但是后人的许多论述中提到王维有的传世作品也具有这个特点，只是王维多田园之趣，而李思训多富贵之气。以上种种，著名学者童书业、启功在上世纪三十年已经辨明，并且提出了新的南北派理论，事涉宋元，于此不赘述。王维的最大的特点是重深，这一点在他的一些雪景图上有很好地体现。他虽长于渲染，也不用皴法，但后人论及他的成就称主要还在用笔而不在用墨上。王维的主要风格可能接近于吴道子，朱景玄称他“画山水松石，踪似吴生，而风致标格特出。”王维在唐朝的评价是比不过李思训的，童书业甚至说王维的山水画在唐朝根本没什么突出之处，直到北宋米芾的手里才被提上来。
