我于去年底份购买一套二手住房，面积54平米，房产证也以过户完毕，隔壁租房屋的人付了半年房租后

律师您好：我想咨询一件事，我于去年底份购买一套二手住房，面积54平米，房价16万多，现房款已全额付给卖方，房产证也以过户完毕，目前遇到这样情况：由于历史原因，他们一直与隔壁邻居互换房屋住达二十年之久，卖方出售房屋前，将邻居的那一套房屋出租，现合同期尚未到期，当时交易时，在房租到期前，隔壁房租由我们收取，到期后，现住我们房子的也即是隔壁房主回到自己房子住，把房子让给我们，只是口说，没有文字证明；但目前，隔壁租房屋的人付了半年房租后，不愿再将付房租给我们，说我们不是隔壁房主，几次找原房主、房屋中介、隔壁房主和租户协商，均无成效。