关于土地纠纷问题，我家有一块地(大约0.7亩)是通过中间人换给了邻村的一家人用(作打庄)修建房屋这怎办？

关于土地纠纷问题，我家有一块地(大约0.7亩)是通过中间人换给了邻村的一家人用(作打庄)修建房屋，而他家的地在山上是(苜蓿地)我家的是平地在路边，他家用了十年左右一直没有修建房屋。因为这家人的老二(也就是和我家换地人)他把户口签走了。后来是2014年前后我家通过中间人去他家要回了这块地，我家也种了三四年了。现在他家想要要回这块地，因为之前写了合约的最后写了永久不变。这怎办？