我是二手房卖房子的业主，支付给我了贷款部分。没有按合同约定的，我们如何维护自己的权利？

您好，我是二手房卖房子的业主，房子已经于2014年12月25日，支付给我了贷款部分。 这样总房款只剩下3万元物业交接款，合同中约定在贷款到后10个工作日内交房。但是，买方这时提出，我们在过户时，没有按合同约定的，5个工作日内办理手续，实际上拖延了几天（大约晚4到5天，当时沟通过，他们同意了）。买方据此说，我们存在违约，要求赔偿1万元。我们没同意。所以，一直没做物业交接手续。今天买方私自带人撬开门锁，并更换了钥匙。请问，我们如何维护自己的权利？