除“剑仙”、“醉仙”和“诗仙”雅号外，吕岩还有个不大光彩的称号：“色仙”。吕岩虽经“十试”严峻考验，而得师父锺离子所传上真秘诀，及火龙真人天遁剑法，功成圆满，已升入仙班成了神仙，但其於“酒”、“色”二事上却从不放过，是个十分“现实”的神仙。
这位“花神仙”在诸仙中是很突出的，就连他的师父也批评他：“饮酒恋花，二者并用，铁拐诸友笑汝为仙家酒色之徒，非虚语也。”王母娘娘过生日时，也对前来祝寿的众仙说:“这堋多仙，谁来给我做寿都可以，就是不让吕洞宾来，他贪图酒、色、财、气。”
《吕纯阳祖师全传》後卷收有吕岩“市廛混迹”诸事，其中衮州妓馆、广陵妓馆、东都妓馆等，都留有纯阳子的“仙迹”。看来吕仙爱在妓中厮混，最有名的“桃色事件”当首推“吕纯阳三戏白牡丹”。
三戏白牡丹之事载於《东游记》、《吕仙飞剑记》、《醒世恒言》卷二十一等，元明杂剧也有《吕洞宾戏白牡丹》。《东游记》谓白牡丹乃洛阳第一名妓，长得国色天香，吕岩一见心神荡漾，心想：此妇飘飘出尘有三分仙气，取之大有益处。於是化为风流秀才登门拜访，二人一拍即合，鱼水相投，各呈风流，“自夜达旦，两相采战”，吕岩本是纯阳，“连宿数晚，云雨多端，并不走泄”，白牡丹大奇之，以为遇此异人，当尽力奉承，“不怕彼不降也」。白牡丹使出浑身解数，曲尽春意，但“竟不能得其一泄”。
此事被铁拐李、何仙姑与张果知晓，三人商量个坏主意，将一绝招暗中告诉白牡丹。次日牡丹与洞宾云雨，至其恣意之时，“以手指其两肋，洞宾忽然惊觉，不及提防，一泄其精”。
