中国最早的水墨画产生于东晋时期。戴逵的《吴中溪山邑居图》、顾恺之的《雪霁堂五老峰图》是最早出现的水墨画。此间顾恺之提出绘画作品应重表现人物的风貌、气质。这既是这时期的特点，也为日后水墨画的发展奠定了基调。
唐代是水墨画发展的鼎盛时期，出现了许多有名的大画家，如吴道子、李思训父子、王维等人。吴道子被后世称为画圣，他的水墨画一改前人细巧之积习，行笔纵放，如雷电交作，很有气势。李思训善画着色山水，他的儿子李昭道也是有名的水墨画家，师其父而有自己的风格，后世称他们父子的水墨画为大小李将军山水。王维襟怀高旷，迥超尘俗，首创渲淡画法。以水墨皴染之法而作破墨山水，以清淡闲逸为归。
五代时期，水墨画进一步发展创新。这个时期有名的水墨画家有荆浩、关同、徐熙和黄筌。荆浩尤妙山水，善为云中山顶，四面峻厚，笔墨横溢。关同初师荆浩，刻苦钻研画道，中年之后，又学习王维的画法，自成一家。他喜作秋山寒林与村居野渡、幽人逸士、渔市山驿。他的画讲究用笔，笔愈简而气愈壮，景愈少而意愈长。徐熙善画花果、草虫。他的画“落墨以写其枝叶蕊萼，然后傅色，故骨气风神为古今绝笔。”黄筌善画禽鸟、山水，成一家之法。他画的花鸟，先以墨笔勾勒后傅以彩色，浓丽精工，称为双勾体。
宋代，水墨画家最有代表性的要数李成、范宽、董源、巨然四人。李成初师关同，后来也自成一家。后人评论他的画时说：“其画精通造化，扫千里于咫尺之间。山林泽薮平远寒林写于笔下，其妙入神，古今一人。”范宽、董源、巨然的画都有“不装巧趣，皆得天真”的特点。
元代，水墨画家主要有黄公望、王蒙、吴镇和倪瓒四大家。黄公望则推为元季之冠，他师学董源、巨然，后来自成一家。他初居富春（今浙江富阳），领略江山自然之美。他总是随身带着纸笔，凡遇到美丽的景色就当场写生。后来移居虞山，使他有机会观赏虞山一年四季乃至每天早晚不同时间中虞山风光的变化。由于他师法自然，因此他的水墨画风光秀丽，变化万千。
明代，水墨画分浙派、吴派和院派。浙派代表画家为戴进、蓝瑛，院派则以仇英、唐寅最有名气，吴派的画家主要有沈周、文征明等人。在浙派画家中，戴进当推第一，他的山水、道释、人物、花鸟、翎毛、走兽无所不工。沈周、文征明、董其昌、陈继儒被誉为吴门四大水墨画家。
清代，水墨画家以四王为最著名。他们是王时敏、王原祁、王鉴和王荤。另外，佛门画家道济和八大山人也在水墨画坛享有很高的声誉。
近代，也就是20世纪初至50年代期间，这时候的水墨画主韵律是改革：这时期以徐悲鸿为代表，西方传统绘画中的素描、光影、透视等技术和方法来对中国画进行改造，这在当时形成了很大的气势，影响也很深远。但在西方洪流涌入期间，古风水墨画也在发展，以齐白石为代表，借助中国自己的传统来进行变革，借助近代海派绘画资源，加上一些明清之际文人画的因素，来对当时的中国画进行改革。他的艺术语言简洁明快，齐白石先生出生在社会底层，早年生活贫寒，他的诗和画明白易懂，不像以前的文人画以晦涩为深奥。齐派艺术在20世纪的中国是成功的。
水墨画艺术源远流长，希望中国能将此文化经典作为自己的特色永远传承下去。
