赎楼短期利息和罚息应该给谁?业主OR中介

最近被忽悠买了个二手房,资金监管也做了,最近中介催我要赎楼费,但是银行承诺函都还没出,而且银行方面说出了贷款承诺函后担保公司会联系我收费,于是我原话回复中介说赎楼费我只会给担保公司不会给他们,结果他们又说让我交短期利息和罚息,说是给业主的,结果我无意知道了业主电话,问后才知道业主根本不知情,而且也担心给了他们后要是不交给原业主!更可恶的是中介现在要我交的短期利息比签合同时给我算的整整高了一倍!所以,关于这个中介的诚信,我很怀疑!!请各位TX告诉我应该怎么做?