和房主协商后同意退还定金。我能否要求退回这一万元中介费？现在《房屋买卖合同书》已经被中介收回作废掉）

买二手房，已经和卖方签订了合同，定金交了三万，但是在过户当天再次检验房屋时，发现房屋之前有渗水、漏水情况（注：在看房、签订合同时曾经问过房主和中介，均口头答复没有），然后就没交易成功，和房主协商后同意退还定金。但中介公司要求付一万元中介费，这样要求合理吗？我能否要求退回这一万元中介费？（备注：在签订合同时没有规定中介费什么时候交，与中介公司之间也没有签订什么合同，现在《房屋买卖合同书》已经被中介收回作废掉）