还能把违约金退回来吗？

2014年11月10日我在安顺某楼盘购买了约85平方米的房子，根据合同规定，我应该在2014年12月30日前得到房子，但实际上，到了2016年12月22日，我才得到房子。开发商计算的违约金时间只算到2016年10月13日共643天（违约金按日计算，每日支付全部已付款（278569元）万分之一）。并且签订《延期交房违约金赔付协议》，在协议中有一条：甲方向乙方支付逾期交房违约金一次性用于抵扣该商品上物业管理费。因为如果不同意这个规定，就没法交房，所以我当时就签字了，我应该得到的违约金一共抵押了10多年的物业管理费。请问：