在人类早期的建筑活动中，石灰、石膏是最早被使用的胶凝材料。埃及古王国时期（公元前3000年左右）的大金字塔，是用石膏砂浆胶结石块和石板砌筑的。公元前8世纪,希腊人就已使用石灰。罗马人用石灰砂浆作为墙体砌筑材料。古希腊人和古罗马人利用火山灰掺入石灰中制作砂浆，用它砌筑的构筑物坚固耐久。这种胶凝材料曾延续使用了相当长的一段历史时期，直到罗马水泥和波特兰水泥问世，才逐渐被取代。20世纪初，随着现代土木工程的发展，石膏、石灰、波特兰水泥等胶凝材料已不能满足特种工程的需要，必须开发研究新胶凝材料。一方面通过调整波特兰水泥的矿物组成，获得了一大类具有特殊性能的特种水泥，如快硬水泥、低热和中热水泥、抗硫酸盐水泥、油井水泥、膨胀水泥、白色水泥、彩色水泥和抗菌水泥等。另一方面通过改变原材料种类，研制成功了铝酸盐、硫铝酸盐和氟铝酸盐等系统的特种水泥，如快硬水泥、型砂水泥、耐火水泥、防辐射水泥和防藻水泥等。此外，还对磷酸盐、水玻璃、镁质和硫磺等气硬性胶凝材料进行研究，并取得成功。一大批新无机胶凝材料的产生，促进土木工程的发展。
中国在使用无机胶凝材料方面，也有悠久的历史。早在周朝已使用石灰修筑帝王的陵墓。从周朝至南北朝时期，人们以石灰、黄土和细砂的混合物作夯土墙或土坯墙的抹面，或制作居室和墓道的地坪。明清时期，三合土的使用和发展，使石灰的用途更为广泛。至今，石灰在中国建筑中还占有一定地位。在中国古建筑中，常用石灰和某些有机物配制成复合胶凝材料使用，取得了良好的效果。据史料记载：南宋乾道六年（1170年）在修筑和州城时，采用了糯米汁与石灰的混合物作胶凝材料；建于明代的南京城，其砖石城垣的重要部位，即是以石灰加糯米汁作为灌浆材料。明《天工开物》一书中，关于糯米汁-石灰更有详细的记载。此外,在古建筑中血料-石灰和桐油－石灰等，常用作腻子。
