房产纠纷 本人是河北廊坊

我想咨询下，我老爸在1996年同镇政府购买地皮一块，用地面积97.5平方，当时只是预交了4万元的定金，后来到了1998年分家，在分家的过情中，我老爸提出屋地没有分的，说你们两兄弟，以后如果哥哥做就给回2万元弟弟，如果弟弟做就给回2万元哥哥，后来到了2002年周边开始建楼房了，才知道政府对该地皮规划出了误差，当时镇政府规划办向我们提出，该地皮没有够97.5平方了，误差了十几平方，后来规划办提出如果不需要该地皮，也可以转过另外一块地皮购买，到了2003年我向老爸提出我领回该地皮，我就把原交4万元定金的地皮款再加多75200元，转过了；另外一块128平方的地皮，当时我就把原来的地皮转回了我的名下，后来到2010年我办好了报建用地所有的相关手续，建好了房屋基础，当时因为资金欠缺没有继续续建，到了2013年随着物价的上升，原来几百元一平方的地皮，上升到几千元一平方，到了这个时候，我老爸又同我说分家时屋地没有分的，但现在我老爸又想要回该地皮，分一半给我弟弟，我想咨询下，从法律的角度来说是谁的？我老爸有没有权利收回？