广东广州的 我的一块位于我村边的山地自留地自从一九五几年就开始用来种果树，前两年有私人不经国土所而强行征买

我的一块位于我村边的山地自留地自从一九五几年就开始用来种果树，前两年有私人不经国土所而强行征买村民的坡地，想连同我的二百几平方米的土地一起买，我不同意买不成，现在我用来起建住宅楼，刚开始动工就有国土所的人来干涉，放话出来说做多少就用硬手段强行拆除。请问这样我现在用这块地建楼房合法吗？