我和中介签了二手房交易合同有一个经济合同现在由于我付不起首付了，房子我不买了，有没有法律依据我可以不

我和中介签了二手房交易合同有一个经济合同现在由于我付不起首付了，房子我不买了，我交给房主的定金也不要了，但是中介还要我给他三万元的违约金合不合法？我跟中介签了一份房屋交易经济合同上有这条单方违约需要向他交三万元违约金我要不要给他这个钱。他这个合同有没有法律依据我可以不给他这个钱吗？