卖了的房子能否要回？

2004年我老家做水库搬迁至新安置地，政府有分配一块宅基地，我当时私下卖给同是移民的村民盖房，并简拟一份转让协议，对方房子已盖好，房产证是我的名字，现在我无房住，请问：我能否向他要回房子，当然我会付给他盖房所花的钱。望律师不吝赐教。