买卖中间的差价谁来承担

我在09年4月26日买了一套拆迁安置房，共150万，定金付了5W，约定1个月内再付95万，余款等安置抽签公证后付清，但是在5月16日因为卖房人说自己在别处买了块地需要35万，我就又给了他40万(写明是购房款).等到26日我叫他来拿55万的时候，对方却提出不卖了，说赔我5万的定金，那个40万算利息给我，我不同意，竟然我已经付了45万了，要就是履行合同，要就是赔我45万，我的钱是高利贷借来的。 补充说明：但是现在周边的房价已经涨了2千平方了，（是政府拍卖的安置房）当时我买它的时候，别人比他低的价格也有，因为这一个月瑞安的房价飞涨，我的损失很大，如果买别的房子我就会避免涨价的损失 ，最起码他是不是要赔偿这一个月中间的差价。