我于6月买了一套二手房，公积金贷款，当时签合同时写明：全款付清前房主将户口迁走，公积金下款后房主立刻交房，违约收——南京

我于6月买了一套二手房，公积金贷款，当时签合同时写明：全款付清前房主将户口迁走，公积金下款后房主立刻交房，违约收取违约金。7月的时候公积金还没有下来，我和房主商量了一下提前住进去了，现在公积金下来了，房主说他的户口要过几年才能迁出，我去找中介，让原房主按照合同支付违约金，但是中介说我提前住进房子里，已经违反合同，合同已经无效了，请问，中介的说法对吗，我该怎么办？