二手房交易产生纠纷

我在7月底通过中介看中一套房，因为看下来挺满意当天就付了定金1.5万并签订购房协议。然后约定首付款分两次付，第一次是8月5日付16万，第二次是约9月10日签买卖合同时付。可在8月27日中介告知我说房屋的厨房中的洗池下水道翻出水，水进入客厅和卧室，造成墙面发霉，卧室地板翘裂。基于这些房屋问题，我提出我不要这套房子了，让房东把之前我所付的定金和第一次首付款归还于我，可房东拒绝归还，称是我违约了。我特向律师咨询我有权终止买卖交易吗？因为房屋进了水有了质量问题而提出终止的是属于我违约吗？