在中介公司签合同时候,要求退房,并要我返还定金,算不算违约,定金应该退还是不退?有没有法律效力?

我卖了套房子,在中介公司签合同时候,把契税票、房本都给中介看了,他们也没看出什么,在过户的时候被房管局告知房子没有过五年,需要交纳六万多的营业税。2003年买房子的时候写的是两个人的名字,2009年把两个人的名字变更为一个人的名字,当时是按照过户办理的,房管局是按照2009年开始算日子的,到今天还没有过五年,可我对这个不太懂,一直按照买房子的日子算的,后来找到中介,他们也承认是他们在签合同的时候疏忽,没有验查清楚,可是对这个问题他们的解决办法是退回买卖双方中介费,剩下的费用要买卖两家解决,可我们都不愿意拿钱。合同上明确写着在房屋办理过户当中产生营业税由买方出,产生个人所得税由卖方出,现在买方不出钱,要求退房,并要我返还定金,我想问下买方算不算违约,定金应该退还是不退?这个合同有没有法律效力?