5月7日我通过中介看好并签订一份购买房屋的买卖合同,接下来如果我们不交易,会收到中介公司的律师函

您好,5月7日我通过中介看好并签订一份购买房屋的买卖合同,先交了2万元定金,后约定5月14日交首付款, 但是到14号交款的时候我没有给他,原因是卖方不能把首付款放到第三方银行账号, 而是要直接打款给卖方,感觉没有保障,所以就没有打款, 后来经过一个周末,我也没有和中介联系, 昨天晚上中介告诉我,接下来如果我们不交易,会收到中介公司的律师函,理由是我们应该付给他们中介费,不知道我该怎么办?请指教,谢谢、。