我是肢体残疾不能重体力劳动的人，生活在农村，我在我家耕地里建了几间房子我该怎么办？

你好！我是肢体残疾不能重体力劳动的人，生活在农村，我在我家耕地里建了几间房子，养了些鸡和猪，可村里人眼热，就把我举报了，说我在地里乱搞建筑，土管局和长政府的人来让我把房子和圈舍拆了，我该怎么办。