关于返修房的产权问题

你好,我想咨询下房产的问题: 我家有一老房,几年前经返修改成了楼房,不过当时没有房产品,老爸拿的是爷爷的房产证盖得.爷爷的房产证其实只有两间小平房,但是我们在这个基础上升成了二层楼(三上三下的楼房).当时,爸爸让弟兄四个同签了一份协议书,内容是关于,爷爷对这幢房子只有居住权,没有任何买卖权.因为盖房的钱都是老爸自己的.但是,当时是他们手签字加手印,没有去公证. 现在弟兄四个在争财产,吵着要让爷爷把房产证收回来,把我家现在盖的楼房给平分掉,请问下这样的做法他们有权吗?