经济适用房转让合同问题

昨年单位准备建集资房，就是经济适用房。登记的员工需支付2000元的定金，然后慢慢的支付房款。如果登记后决定不要，就视为弃权，单位是不得退这2000元的定金。有些工人看着现在房价猛涨，一个二个都跑去登记了，但是当单位要求缴纳3万的首付时，他们却拿不出来钱了，于是他们就想把房子转让给别人。我从一个工人手中转让到一套房子，约定等到那套房子可以公开交易时，就过户给我，未来年限里房款有我来付，并且按他的要求给他支付2000元的转让费，如果哪方违约，将支付对方双倍的违约金。和那个工人签了合同后，我就向单位支付了3万元的首付款，收据这些都在我这里。最近那个工人来找我，他觉得当时向我要求的转让费太低，不愿意再把房子转让给我。请问律师：这个时候我能否认定他违约？我们所签的合同是否有效？谢谢。