钟楼原址在广济街口（鼓楼的西面），和鼓楼在同一中轴线上。明朝万历九年迁址到东西南北四条大街的交汇处。
关于钟楼迁址有一段美丽的传说。万历年间，关中地震后道士高承之断言，是万年鳌鱼在地下作怪，于是知府将钟楼迁到现址震住妖孽作祟的穴口（是整体迁移，而不是拆迁），从此西安天下太平，万民乐业。钟楼正面的楹联就反应了这段传说。实际上钟楼的东迁是与西安城市发展的东移直接相关的。钟楼始终处于西安交通地理的中心位置。钟楼在古代的主要用途是报时的，晨钟暮鼓成为西安的标志之一，但是过去报时并非清晨敲钟，黄昏击鼓。据考证，老西安报时的其实是钟鼓并用。
