韶关市农村建房邻里因高低问题产生纠纷

今年5月，我家老宅拆了重建，原老宅北面一堵墙是与该邻居共用的（我家那面是屋墙，他家那面是院子围墙，围墙离他家房子大概5米），现拆建后邻居死活不让在原址上摆地基，还无理要求我们在原共用墙的地基上退出40-50公分，为此还吵到了乡政府，政府也让我们自己协商解决，后经几次协商，最后我们答应让出35公分，后来此事也不了了知，房子也顺利建了。但到了现在的8月，我家房子在建造到3层（大概8-9米）高的时候，那邻居居然又来阻挠！一打砖就拿棒子挑拨，搞到现在施工进度停滞不前，理由是屋高影响他家光照，实际上我们是有考虑到此问题，若不建造上去我家房间设计不够用，因此已经作出退让也把高度降下来了，但是他们还是那么咄咄逼人，就是不让造一点！就想凌驾于我们头上，实在让我很气愤！我想请教们，这种问题该怎么解决啊？我妈已经在说，实在不行就上电视台寻求帮助了……