中介从尾款中扣下了原来房东的中介费海南海口的人

我年初买了一套房，原来房东，房产中介签三方合同时，原来的房东，中介和我都口头协议好了，尾款由中介代收，但是合同上又写明由我把尾款给原来房东，后来我把尾款给了中介，但是中介从尾款中扣下了原来房东的中介费(中介和房东之间产生的费用，但是房东不想给中介费)，后来现在又说按合同执行，让我把尾款直接给他，不然就走司法，还要我赔违约金