嘉兴市房屋无法按期过户，是否可以解除合同？

我于2010年9月12日购买房屋一套，约定购房款139万元。签订合同之日支付定金2万元，次日支付定金3万元。出卖人有房屋贷款66万元，房本已抵押。66万元的贷款约定由我支付给银行。合同约定自合同签署之日起45个工作日内过户完毕。如延期，按照日万分之一收取延期款。我按照约定的时间支付了房屋定金，合计5万元。后出卖人向银行约请提前还贷，但银行以贷款一年期未满不能提前还贷拒绝。最早的提前还款日是十二月底。这样算下来，过户日最早要到2011年1月下旬。出卖人提出我可以先住在房子里，等待向银行还款再过户。因拖时间太长，风险太大，且会影响我个人后续结婚和再买一套房子的计划。作为买方我认为出卖人存在过失，如事前我知道不能在合同期内的时间里过户，我肯定就不买这房。因此，我不同意延期过户，希望解除合同，但出卖人不同意，打算拖下去。我应该怎么办？