后还有一座楼—岭南第一楼，这是一座城楼式的古建筑物。明洪武七年(1374年)行省参政知事汪广洋建造此楼，它比镇海楼还要早7年建造。其楼基用红砂石砌筑，楼高7米，中通往来，作城门状，上建栋宇巨檐，构成一座轩敞的楼台，显得庄严雄伟、朴素大方。此楼与五层楼堪称为明代建筑的“双璧”。 岭南第一楼建成后的第四年，还铸成一口大钟，悬挂楼上。大钟高3米多，口径2米多，厚3寸，重5吨，是广东最大的铁钟。这口大钟撞击起来，声音很响，“扣之声闻十里”。这大钟是作为遇火警等非常事故时召人救火用的，无事禁止撞击；又有此钟敲响，城中便瘟疫大作之说—故名“禁钟”。该楼也被称之为禁钟楼。禁钟之重，令人惊异。然更令人惊异的却是此钟只用一根葛藤悬挂。
传说这藤与吕洞宾有关：
古代有一大官乘轿路过此地时，扎轿杠的绳索断了，便吩咐轿夫在半时辰内找到绳子扎好轿杠。轿夫正焦急找着，忽见路旁走来一位老人。老人指着山岩上的一条葛藤说：“可用那藤。”轿夫见藤又细又短，以为老人要耍弄他。突然老人不见了，轿夫才知道遇着仙人，连忙扯下葛藤去扎轿。也真奇怪，葛藤越扎越长，直到轿杠扎得结结实实才用完。到了驿站，轿夫仔细察看，见藤尾刻有“吕洞宾”三个字，这才醒悟到那是吕洞宾所赐的仙藤。
后来坡山建五仙观、盖大钟楼，要找绳索吊大钟。轿夫便把仙藤献出，细小的葛藤把数千公斤的铜钟吊得稳稳当当的。故事终归是故事，传说也不一定曾发生过，可一根葛藤吊起那沉重的大钟是不争的事实。
再说那口大铜钟、钟体铸铭篆文，是洪武十一年（1378年）所铸。钟口之下正对着楼基中心的方形大井口，能产生共鸣。一敲钟，声自券形门洞传出，钟鸣远播，声闻十里。传说此钟只有遇着火警之类灾难时才撞击鸣钟，无事禁止撞钟，故又称之为“禁钟”，该楼又叫做“禁钟楼”。 五仙观牌坊在六十年代被毁，2005年开始计划原址复原牌坊，复原设计由华南理工大学程建军教授和石拓承担。复原采用了原有台基、夹杆石、柱础等构件。复原牌坊完全按照传统样式，面阔三间，进深二间，用十二柱，有侧角、升起。心间为重檐，次间为单檐，均为庑殿式，屋脊为龙舟脊，均饰卷草纹，并以广府典型的水浪造型收尾，正脊上饰宝珠、鳌鱼。
