定金纠纷-我在房屋出租的时候，双方已经协商好了合同细节，对方预付了定金，并约定好

我在房屋出租的时候，双方已经协商好了合同细节，对方预付了定金，并约定好第二天签署合同时付齐剩下的款项，可第二天时对方反悔，并要求我退还已付的定金，请问我该不该退还给他？