请问我自己购买的房屋原本上周打算出售,我希望能够终止合同,要我支付三万元才能还给我托管的钥匙和契税发票。

您好!请问我自己购买的房屋原本上周打算出售,所以找到了住处附近的一家房屋中介代为寻找买家。但是四天后中介在建委询问房产证办好的具体时间时,得知因我家人以我的房子做了抵押,现在与对方产生纠纷,所以房屋被法院冻结。因中介也还未找到合适买家,我希望能够终止合同,先解决家人的债务纠纷,但是中介却坚称我单方面违反协议,要我支付三万元才能还给我托管的钥匙和契税发票。我该怎么办?