已经签了佣金协议书和房屋居间买卖合同，无法及时将钱汇给我们所以付不出首付了，但是对方说因为我们已经签订了居间买卖合同了

您好，近期我在周浦地区看中一套房子，已经签了佣金协议书和房屋居间买卖合同，但是近日我的下家遇到了贷款方面的问题，无法及时将钱汇给我们所以付不出首付了，我们向周浦地区房产公司说定金我们不要了，撤销买卖，但是对方说因为我们已经签订了居间买卖合同了，需要支付佣金及赔偿，且已经在合同里注明，并划出来给我们看了。