房产纠纷本人是江西吉安

十五年前，帮我伯父建造一套房子，因为当他时经济较困难，所以费用全部由我垫付，房产证及土地证全部他名字，没有几年，他欠银行贷款，无力还款，最后他将房产证与土地证全部给了我。房子他不要了，口头协议。但因为是直系亲属，房屋到现在一直没有过户，目前房屋一直是我在出租和使用，现在他想将房子要回去，我有什么途径可以不给他。