自留地临时租用后变成村委所有

你好，我想问问，06年的时候，我们村由于要建新的肉菜市场，所以村要暂时租用我们家的自留地作为临时市场，当时村委就写了一份租用证明，内容大概是：“每年以几千块一亩的价钱租用我家的地，期间如有征收一律与当事人（我爸）无关”。当时我爸糊里糊涂的就把名字签了，但份证明上没有加盖村委的公章，也没注明租用期限，想问这证明有法律效力吗？存不存在欺骗成份？现在新市场已经在附近建好几年了，那地也在那里丢空了，最近我们想在那块地建房，村委都已经公证了，但过了两天村委却告知不能在那建房，而且拿出当年的证明说这地已经归村委所有了，，要是你们有什么异议可以到街道办的信访部那里信访。但在我家自留地旁边却批准了给私人建起一座新房，那块地也是当时临时租用给村委的，都有签那份证明的。如果不给建的话，为什么村委又批准别人建？现在想请律师帮忙解答和我们应该怎样做？谢谢