我有这个权利吗？

2008年2月，我认识了他。4月，我们着手买了房子，是在中介那里买的，当时我在上班，他和卖方签的协议，他付了27万给卖方，收据和协议都只签的他的名字。当时我也没拿钱给他。后来我们装修，我也付出了很多精力。我们结婚了。婚后我发现他和一女人关系不正常，在强烈的争吵中，他要求离婚。然后我们离婚了。可是离婚后，他觉得离不开我，又乞求我不离开他。为了表示对我的真心，他还写了一个协议给我，说房产证下来就办我们两个人的名字。后来房产证下来了，他从卖方那里去过的户，房产证上就写的是我们两个的名字了。再后来，我们再一起的时候，仍然过不好，他还经常喝酒后就无故打我，每次打了后又保证不动手了。这次，他把我打得很厉害，面目都毁了。我也伤心欲绝，想到了要离开他。可是，我觉得有点不心甘，他不但背叛了我还多次打我。现在我可以要回属于我的那一半房子吗？他说当初房子是他买的，我没出钱。