与邻居为房屋第一层上预制板高了发生纠纷，他妨碍了我建房停工为了不矛盾升级怎么办？ 本人是湖北仙桃

去年邻居为了建房，跑来我家商量要拆了我一间旧房（我的是3间）和我一起下墙脚。当时我没多想就同意了，并告诉他（他去年建好了起了3层），我今年准备建2层，第一层起4米8高（他第一层有3米8高），我地基与他平齐，第2层比他的矮，整体建筑和他一样高。他也同意了。现在我已建了4米5高准备上预制板，他现在反过来不让我建，对我的瓦工师傅百般刁难，使我的房子停了工，有一个月了。我城建，土管手续是全的。他跑了各个部门咨询，但我的建房是合法的，城建给我放的线，土管来拉的尺。我和他房子是平起的，城建反过来给他做工作，叫他不要无理取闹，让我起。我处于乡邻不想闹太僵。与他协商和平解决，他第一天让我矮2平砖，我与师傅计算后同意了，但第2天他又不同意，要我矮4平砖，我不同意，因为太矮了我的房子跑不上2楼，房子的布局要变化。他就闹不让开工，我们街上的乡邻也来劝和大家都让一步，我又找了几个师傅计算改改，我又同意了，他也同意了，准备开工他又反悔不同意，还要我矮。我房子不能再改了【因4米5中有一个4米长的阁楼矮了撞头】。乡邻，师傅，他家人都给来做工作，他耍泼，谩骂。我的房子已停工一个月了，为了不把矛盾升级，我该怎么办？