买房交的诚意金注明不予退还,能退吗

买房，在售楼处交了诚意金，签订了诚意金协议，上面注明了房子单价，换签商品房买卖合同时间，并且注明，在约定时间内不换签则视为放弃该房购买权，协议失效，诚意金不予退还。现在因贷款问题不想买了，能否退回诚意金？说如为按时换签，则视为放弃房屋购买权，协议自动失效，诚意金不予退还。