关于房产买卖的问题本人是天津津南区

我想咨询一下，三个月前委托中介办理的房屋出售，签订了中介合同以后，买房支付了5万元押金，买方一直没有办理贷款，合同上签订的期限是12月1日。今天都3日了刚才中介来电话说买方说要5W元押金。我想问一下各位 这样的情况我是不是不用理他？会不会有什么他去起诉我的麻烦之类的。合同条款也写明了在规定日期内买方没办理下来贷款算买方违约。