但是在办理房屋过户中妻子未同意，导致房屋买卖未成交。但是在办理过户手续中，理由是他对房屋投资改建了

律师您好；本人通过朋友介绍将一处院落房屋卖出，但是在办理房屋过户中妻子未同意，导致房屋买卖未成交。所以本人将买方给我的购房款退还给买家。（因通过朋友介绍，房款是过户前给的，但是在办理过户手续中，买方在未与我沟通情况下改建.扩建了一些地方）买家收到房款后拒不腾房，理由是他对房屋投资改建了，因此霸占本人房产3年多（他是当地有点名的小地赖，他共花了4万元左右，却向我索要15万）本人已起诉，一审我胜诉。但他却拒不腾房。现在他又饭告我，说我退还给他的钱不是购房款，是我欠他的钱（无借条无证据）此案还未宣判。请您帮帮我，我现在该如何解决处理此事。谢谢！！！