首先确定你是哪方，遵循以下原则处理：
1、如果你是甲方，违约应向乙方赔偿违约金10万元，并如数退还定金。如协议内有其他违约责任一并承担。
2、如果你是乙方，违约应向甲方赔偿违约金10万元，定金根据协议内约定，如约定你方违约定金不退，则不予退还。如没有相关约定，双方协商解决退还比例。同时协议内如有其他违约相关责任同样承担。
综上所述，本案中的定金和违约金是两个概念，两笔费用，不能混为一谈。如你是乙方违约，且协议内有约定违约方定金不退的条款，那么你方损失的应是定金5万+违约金10万，共计15万元。
建议以后签订类似协议，一定要对所购买或租赁的物了解清楚，考虑清楚后再做决定，避免造成个人损失。无论是哪方违约，虽然协议内有相关约定，但也有通过友好协商解决退还的案例。所以一方面做到了解情况知己知彼，一方面加强与对方沟通，相信会有个理想的结果。
