房屋买卖纠纷 本人是河北廊坊

中介在没有取得房主授权的情况下，让我与委托人签合同，当时说授权交易的时候会拿来，现在我不想买这房了，中介让我连卖方的中介费也要交，我想问问，当时没有取得授权签的合同，可以算无效合同吗?我想连定金都要回来