邯郸市房屋买卖新税产生后的纠纷

本人与买家签订购房合同为10年12月16日，去交易所递交更名时间为11年1月12日，在我们取房产证时，需要缴纳新增营业税。此营业税收取时间为11年1月1日。当时签订合同的时候营业税为斜杠（因为房产超过5年），后来的税是因为此房产超过140平米为豪宅计算的税。我和买家协商不成，因为买家要多贷款所以多评定了房屋价值，他只愿意支付多评定的那部分产生的税。而我要求双方承担差价产生的税收。但买方支付我5万的定金。请问我必须返还此定金么？