贵州黔南房产纠纷-房产纠纷 我父母2013年买了一套民房，房总价

房产纠纷 我父母2013年买了一套民房，房总价十四万多点，买房时双方约定先付8万元，2013年 年底交房就付清五万多的余款。如哪一方违约就付违约金20万元。因卖主因地势归属问题和隔壁的人发生茅盾 导致至今未交房。我们想他实在交不到房就要求他退回原先所交的8万元。他一句没有钱就打发我们，还要我们去法院告他。要不回原来的8万元我父母打算装房子，避免他继续这样拖延时间，说是先装修，如果没有人来阻止装修房屋，就付清后面余款，但卖主不许我们装修，说是必须得先付3万元才能装，我们现在就是怕如果再付3万，也是装修不了的。很有可能会有人阻止，因为给他建筑的工人工资他都没付，我想了解被卖主拖延这么久时间，可以要求损失赔偿吗？