农村宅基地大门前几米以外允许别人盖房

我家是安徽黄山的，大门前3米左右有块空地，一半是自己的，一半是别人的，现在想将别人那块地买下好做个院子，人家不卖，我们家又想办法去其他地方买了块地，与这块地是平行的，离我们家20米左右，想着用地和他交换，现在对方就是不肯换也不肯卖，真是没辙，以往也没有什么过节的，人心难测。现在就怕人家用这块地造个房子什么的，那就会严重影响到我家房子采光，就是请问下如果他要造房子，合理吗？我们该怎样给自己维权，如何来解决这样一个难题，谢谢!