买卖双方自愿解除居间合同

你好，我十月三十号与中介及房东签署了房屋买卖居间协议，但由于当时房东没有办理产证，因此一直拖到昨天中介才通知去签买卖合同。但我和房东及中介在一起谈交房时间问题时，产生较大分歧，房东要等到2010年二月中询才能交房，我认为交房太晚，不同意，我也很及用房子。后来两方始终没有谈妥，房东同意把定金返回给我，同时解除居间协议，我也同意了，我们双方自愿解除了。但中介不同意，要把我们双方起诉到法院，要求我们至少有一方支付违约金。居间协议中没有关于交房时间、何时签买卖合同及何时付完款等信息。请问律师，我应该支付中介费用吗？还是去法院打官司呢？谢谢！