新余贷款房屋买卖-我的房子贷款没还完，和别人签订了房屋买卖合同卖房子，想之后用他的首付款

我的房子贷款没还完，和别人签订了房屋买卖合同卖房子，想之后用他的首付款来还贷款再过户，但刚签了合同由于政策的影响，房子降价了，买家不想买了，也不赔违约金，说是房屋没还完贷款，签订的合同无效，他的说法成立吗，我能否要回违约金？