几年前，我家在隔壁村子的荒地建厂房 本人是浙江金华

几年前，我家在隔壁村子的荒地建厂房，征得当时村领导的同意后，到当地的土管部门交了40多万，同时也交了对村子的赔偿金，可是，到需要办理土地证的时候，需要村民代表一半签字同意以后才能继续办理，因为村子闹分歧，一直没签字，至今土地证也没办理下来，我想知道，我家厂房算合法吗，毕竟花了这么多钱。村子里有些游手好闲之辈散播谣言说我家房子是非法的，来闹说要钱不然就要搞些事情，我怎么维护我的权益。