四川眉山的 签了不公平协议

我们是两兄弟分家，我们是三层楼每层三间屋，弟弟在外地工作一年回家一次，父母希望我们不要房屋以免以后争吵，老人抚养由老大但生病2000以上双方平摊。当时分家小儿媳妇快要生小孩所以没有多想就签了，现在想要回房间了，怎么办？