温州鼓词的渊源，鼓词艺人流传着的关于“祖师爷”的讲法。艺人们说温州鼓词的“祖师爷”是唐明皇的叔叔。他从小聪明、善文能诗，谙音律。后因病瞽目，亲尝失明的痛苦，便教盲人唱鼓词以自误，于是民间便有鼓词。
关于它的具体形成时代，一说始于南宋。持此说者以当时历史背景和地理环境作为分析论证的依据。金兵入侵，宋室南迁。随之而来的宋代政治、经济、文化中心的南移。曲艺作为民间喜闻乐见的说唱形式，也随着民族的迁移而南下。
另一说人为，温州鼓词“始于明代，由横阳里巷之曲与词曲合并而成”。横阳，即今平阳；里巷之曲，指的是民间小调。当时在野的文人与聪明的盲艺人，承受了古乐的衣钵，并吸收了当地的民间小调，创造了说唱形式。经过二百多年的发展，在器乐和音乐上也日臻完善。
在旧社会，鼓词艺人的地位十分低下，鼓词同样不为达官贵人、豪门纨绔视为艺术，而被拒之于艺术之宫的门外。解放前，当时的绅士就不承认它是文艺。
解放后，艺人翻了身，他们不但在政治上是国家的主人翁，在党和政府的关下，组织了曲艺协会。在经济上也与工农群众一样生活日益改善。于是温州鼓词得以新生。目前，温州农村几乎到处都可听到鼓词的美妙音乐，群众也喜欢哼几句鼓词流行曲调。
温州鼓词的发展，这应该归功于盲人。平阳过去就有句口头禅：“盲瞠人唱词”，因为过去这种艺术是在市井里演唱，大多是由盲人作为职业的，所以又称“瞽词”。而且这种艺术又是在里巷之曲，民间小调中收集和发展起来的，特别地亲近于市民乡亲。当时在野的文人与聪明的盲艺人，承受了古乐的衣钵，并吸收了当地的大量的民间的艺术形式，创造了这种非常综合说唱形式。说它综合，就是这种艺术是个温州艺术的宝库，温州方言、温州的乡土音乐、温州人文、掌故习俗都可以在这里面得到体现。而且它的伴唱的乐器也是温州艺人自己发明，又经不断改造得到了提高，它的音乐非常的动听，经过二百多年的发展，音乐上也日臻完善。
