山西阳泉 房产和生活纠纷

我是丧偶七年后经人介绍和离异第七年的丈夫结婚的。我有一个女儿，他有一个儿子（离婚时判给女方，条件是除房产外的一切全部归女方所有）。我们结婚前我就和他商量好，如果我们小区拆迁的花就把我们各自的房产改写成各自儿女的名字，避免以后麻烦。但是我们有生之年有居住权。婚后各自抚养各自的孩子（他要每月给他儿子一半的生活费和学费），但是我的我要归男方养活（我的工资只抚养我的女儿），并且他承诺儿子结婚的一切事宜不用我管，达成口头协议后我们结婚了，日子过的很快乐！但是今年他儿子大学毕业后在相对我们家要比他妈家近的一个单位干临时工，就住进了我们的家里，由于他儿子有很多生活坏习惯我看不惯，就和老公说不让他在这住，再加上我女儿大学放假期间也在家里住，很不方便（两居室），他和他儿子谈了好多次，他儿子都说离我们家近，吃饭方便不肯走，严重的破坏了我们快乐的生活氛围。请问，他儿子如果想霸占我们的房子合法吗？（我们现在的房子是我老公父母生前留下的，房产证写的还是老公父亲的名字）。我有权拒绝他儿子和我们生活在一起吗？