我是卖方在2017年3月底和买方签了房屋买卖居间合

我是卖方在2017年3月底和买方签了房屋买卖居间合同，如果在2017年6月28号买方贷款没有申请下来就是违约，买方在6月20号左右告知不买了，但又想退回部分定金，我卖方可以不退吗，我这房子还想卖，可以直接卖吗。