怀化房屋买卖合同纠纷-2010年10月31日，我与房主在中介签署了，房屋

2010年10月31日，我与房主在中介签署了，房屋买卖合同，到现在2010年11月9日，房主提出房屋不想卖给我们了，但是合同上条款是房主违约要缴纳违约金是定金的2倍，但是现在房主不同意，还拍桌子骂人，我想问问这个我们应该怎么办，我们确实着急买房子结婚，我们再也没有时间来的及换别的房子了。我们所有的手续都交到中介，让其去办理了。希望能帮忙我应该怎么做