土地的使用权和所有权

我家是农村的，由于地域问题发生了土地纠纷问题。具体情况如下：我们家的房子是在20多年前建的，当时有生产队出头建在别人两家的土地上，原因是生产队以前占用俺家一亩多的地，有生产队出头调换，并每年发给两家粮食作为补偿一直到现在，当时农村还没有书面协议这个概念，只是有生产队出头口头协议而已一直到现在，由于我家是建在镇区路边，房子已经升值，但房子我们是一直住着的而且我家后面还有些空闲地方，我家想利用空闲地方建个卫生间之类的房子，但以前土地的两家不愿意并想要回这块土地，我想问问我们家可不可以在后面盖？这个地的使用权是属于谁的？还有所有权是属于谁的？