应该赔偿2万，好好审一下协议的内容，看看当时是怎么约定的，并保留好相应的证据，收条、协议等，中介公司应该有你们双方的的身份证复印件，房本复印件，第一时间争取拿到这些东西，让中介配合去索回剩下的5000元，如果想好好治治违约方，就通过法律途径去诉讼，当立案后该房产是无法交易的，业主也怕麻烦，把这些厉害关系渗透给他，也许能不打官司就能把剩余的钱追回来。
不过，建议尽可能别钻了牛角尖，退一万步讲无非是自己没买了这套房子，心里不舒服而已，而没有实质损失，都知道，打官司是个劳民伤财的事情，那帮家伙吃了原告吃被告，即使打赢了，消耗的财力和人力也是无法用区区几千块来弥补的。
下次记得提前审好合同，下定金的时候多下几万。留下对方的身份证复印件和房本复印件，避免房主和中介串通一气。
最后，祝你好运，
