我遇到买房不过户只做委托公证的中介了咋办？懂的来

我的房子卖20万，我跟他签了买卖合同，他支付给了我2万的定金，并约定如果违约，违约金2万。当时他说成交后不急着过户，等他把20万全部给我过后我把房产证交给他，去公证处做个委托公证以后全权给我把户过了就行，我什么都不用管了。我就签了合同。但后来细想才知道如果长时间不过户，等到我另外要买房的时候我就没办法享受银行贷款优惠政策，而且期间如果他把房子出租，租房人若在房子发生什么事故我也脱不了干系。毕竟房产证还是我的名字买卖合同上写的房款于三次付完，（付完后才去做委托公证）后天他就要第二次付款，我想跟他协商，喊他交钱过后立马过户，但是估计他赚的就是这笔钱他不会愿意。那么到时候我把2万定金返还给他算违约么？还好合同上没有提卖房过后要去做委托公证，只写了房地产权过户由他负责办理，过户产生的一切费税由他支付，但也没写明什么时候过户。我可以要求他必须给我过户么？有什么法律依据？