我与买方签订房屋买卖合同，通知买方付给他违约金，但买方自愿加价达成口头协议，买方不按口头协议执行

我与买方签订房屋买卖合同，后因价格问题不卖了，通知买方付给他违约金，（返还订金五万，合同成交金额的10％）但买方自愿加价达成口头协议，（有录音），后来办理网签过户手续时，买方不按口头协议执行，导致没有成交，现想咨询现怎么确定违约责任。