湛江干扰卖房,怎么办

我有一套房子已经收了买主的定金,并且打了收条,没有签协议.但由于种种原因,没法办过户手序.就放下了.可是房子涨价了,我就不卖了要退他定金,买方不干.找他多次钱塞他手里他也退回来,非要原商定的价买,我也不肯.我就联系其它买主.可他在房门上,楼梯间写了很多此房有争议,干扰我卖房.我该如何?