说是房屋评估款给对方，安置房面积给我。可不可以起诉房屋买卖协议无效，对方赔偿我的损失，搬离我的房子？

是这样的，我父亲在农村有三间平房。我的户口跟我父亲又不在一起，我父亲去外地做生意失踪了20年，从未有过联系。在10年前这三间房子由我堂姐夫出面卖给了一家外地人，当时就签了一张简单的协议，上面是我堂姐夫签的名字。那家外地人房款也只给了一半。现在拆迁了，我在村委会的调解下跟对方签了一张协议，说是房屋评估款给对方，安置房面积给我。可是房子都签了一年半了，对方就是不肯搬。现在村里不让选房子，应有的补贴也不能享受。我的问题是：可不可以起诉房屋买卖协议无效，对方赔偿我的损失，搬离我的房子？