山东济南的 遗产继承

我的祖母有一处公产的房子，生前因为需要照顾让我和她住在一起。我的父母和姑姑们说如果我照顾老人的晚年，房子就归我。并且写下了协议。前几天老人去世了。所有的善后都是我处理的。可是现在我的哥哥又要来分我的房子，说他也是孙子，有继承的权利，可是老人生前他一分钱也没有拿，去世的善后也没有出一分钱。现在每天都到我家吵。我该怎么办？谢谢你们！