2011年7月6号买卖双方和中介签订的居间服务合同，向中介公司支付违约金，但是后来买方明确表示不买了

2011年7月6号买卖双方和中介签订的居间服务合同，约定居间服务费4万，买方在合同签署时支付，如延期支付服务费，应按照每日1%的标准就未支付部分，向中介公司支付违约金，并继续承担支付该部分的义务。2011年7月8号，买方又向中介写一欠条，内容是：20117月8日交付了一万，剩下的3万在过户时交付。但是后来买方明确表示不买了，合同在2011年8月18号已经到期，请问，买方应该交付剩余的居间服务费和违约金吗？违约金如果需要支付从何时计算，因为约定合同约定的是签署合同当日交付居间服务费，后来打的欠条说的是，剩余的3万在过户时候交，但是最终，房子是没有过户成的，时间怎么来算。