老师好，我是农村的，我有一块自留地，现在有人想给我换，我答应

老师好，我是农村的，我有一块自留地，现在有人想给我换，我答应借给他建房，知道两夫妻都去死，收回自留地的使用权，并附带地上的房子，请问老师这样合法吗，可行吗？主要是这二老还有个女儿，如果以后这二老去世以后我收回土地使用权，这地上的房子我有权占用，或者拆除嘛？建房子是依据相关法律的规定走审批流程的！这样要是以后我收回土地使用权，要拆除他们的房子，他女儿不同意，我能收回吗？