土地纠纷我是广西北海

爷爷的兄弟，当年留下一处住宅，因女儿外嫁且没有儿子继承，由于我们家已经有了地方住，就把那块地闲置在那。然而近两年有村里人说他们使用过就是他们的了，因为以前有种习俗，就是哪个村民在荒地种点树就认定那些地就是那个村民的，从而产生土地纠纷。现在情况是这样的，爷爷那辈只剩下奶奶，爷爷兄弟的女儿还健在，但是爷爷兄弟他们家的坟墓由我们管理，照理说我们家是有权继承该宅地的，而且也能有人证明那块地是爷爷兄弟的，请教各位高手，我们解决这一纠纷。