山东枣庄的 土地转让

我家是从另一个市搬到现在居住的市，买别人的二手房的，我家现有的土地是以前那个房子主人的，我家户口已经转过去，土地也转到我家户上，现在土地开发，卖给我家房子的人现在又问我家要回土地的所有权?请问这是否合法？我们该不该给他？