相传唐僧去西天取经，回来的路上经书掉落水中，唐僧曾在此山晾晒经书而建寺。关于"白马"又有"白马拖缰"的美丽传说。
白马拖缰：折马寺山上有一种卵礓石，外坚中空，摇之有响声，人称马铃石。相传，古时有一少年，机智而又善良。他每天为财主上山打柴，风雨无阻。尽管如此，却依然常因柴打少了而遭受财主的毒打。一日，他打柴回来，路遇一老者向他索柴取暖。他看到老人受冻的样子，不顾柴少挨打的危险，慨然施柴于老人。老人从怀中取出一匹纸马，送于少年，告诉他，这是一匹神马，是当年唐僧取经时骑过的小白龙，如有所求，只须找到千年谷草让它吃下，立刻就能显灵。少年回家后，突然狂风大作，下了一夜的暴风雪。第二天，财主不顾风雪，威逼着少年进山打柴。少年想起了藏在怀中的纸马，但千年谷草又去啊里找呢？突然，他想到山上的白马寺里有一尊千年古佛像毁坏了，他清楚地记得佛佝的骨架是用谷草扎成的。于是他立刻来到寺院，从佛像里取出一支谷草。怀中的纸马一下就张口吞了下去，摇头摆尾，突然就成了一匹雪白的骏马，进山为少年驮炭而归。财主得知后，就想将神马占为已有，于是同家丁合谋半夜前去盗马，结果被白马踢翻在地。少年从睡梦中惊醒，跃上马背，与白马一腾空而去，马铃被财主扯落，散了一地，变成了摇之即响的马铃石，白马缰绳拖过的一条山梁至今寸草不生。
