房屋买卖不过户是先做公证还是先付清房款?

我把房子卖给别人,有房产证,他现在不过户只做公证,中介说先做公证,我拿着材料等到钱付清再把公证书给他,这样可以吗,买方如果不付钱,材料销毁房子还是我的吗?如果先付钱再去做公证合理吗?