借款时签订卖房委托，还款时受托人不交还委托书本人是四川乐山

我在一个银行贷了款，到期资金紧张，就跟别人借钱，但签订了卖房委托书并公证了。然后我又在另外一个银行贷了款，并办理了抵押手续。银行放款后把借款人的钱还清了，但是对方说钱已经还清了，委托书就没用了，就没还我委托书。请问这样有什么风险？借款人能把我的房屋拿去转卖吗？我要维护保障我的权益？