没有签卖房合同只是把建房证(房子卖的比较早我也不知道为啥只有一本建房证)我想跟以前的买主协商再把房子买回来。这套房子卖的时候口头约定只是卖掉这栋三层住宅

我家有一套已经卖掉的祖宅(宅基地上建的房子),爷爷为国家公务员(已过世销户),奶奶为农业户口(已过世销户),我爸爸是家中独子但是是领养的(城镇户口)。这套祖宅于97年的样子以4.5万的价格卖给了一个本市外镇的生意人,没有签卖房合同只是把建房证(房子卖的比较早我也不知道为啥只有一本建房证)给了对方。现在我结婚家里只有一套很小的房子,我想跟以前的买主协商再把房子买回来。这套房子卖的时候口头约定只是卖掉这栋三层住宅,后面一个大院子一口井一块菜地(菜地是大队的但一直是我家在种菜)和两间喂猪的平房一直无偿给对方使用。如果我在4.5万的基础上再加点钱给他能否收回来,如果他不肯能否通过法律途径解决。房子配套的菜地、猪圈和水井都无偿给他们用了10几年。请专业人士帮忙回答,非常感谢