传说中白无常名叫谢必安,黑无常名叫范无救,据说这二人自幼结义,情同手足。有一天,两人走至一座桥(桥名忘记了)下,忽然天降大雨,谢必安要范无救稍待,回家拿伞,岂料谢必安走后,雨越下越大,导致河水暴涨,范无救原本身材矮小,竟因为不愿失约,被河水淹死在桥下,不久谢必安取伞赶来,发现兄弟早已经身亡,痛不欲生,当即吊死在桥柱(所以很多白无常的形象是伸著长长的红舌)。二人死后,阎王爷念其信义深重,就让他们在地府做了鬼差,专门捉拿不法之徒。
牛头马面的来历比较简单,都取自佛教。传说牛头原名叫做阿傍,也是人,但生前十分的不孝顺,所以死后化作牛头人身,作为地府的鬼吏,专门捉拿逃跑的鬼。马面来历比较不明确,一说是出自佛经中的马面罗刹,原本是恶鬼一类,但也有另一种说法,就是原本佛教中只有牛头,后来传入中国,民间因为讲究对称,所以有配上了马面这一形象