私下与人签订房屋买卖合同，签订人不是房屋产权人的名字，也没写不想卖了违约金的问题，买家不同意

私下与人签订房屋买卖合同，签订人不是房屋产权人的名字，也没写不想卖了违约金的问题，收了买家部分房钱，现在不想卖了，买家不同意，给买家退款和赔偿损失，买家不同意，非要买这房子，说不卖告我诈骗，怎么解决这事。