08年我奶奶家的房子拆迁，分了两套回迁房，现在马上交房子了，还威胁房子不给我们家了

08年我奶奶家的房子拆迁，分了两套回迁房，当时说好是我奶奶住一套，我家得一套，但是09年我奶奶去世了，去世前就说好她的那套房子给我弟弟了。我们家也同意了。我奶奶有三个孩子，我爸爸和我叔叔都去世了，只剩我姑姑了。我弟弟是我叔叔的孩子。这几年开发商给的租房子的租金都是我姑姑在领，现在马上交房子了，我姑姑不愿拿出这个钱来。还威胁房子不给我们家了，我应该怎么办呢？我们家的户口是跟我奶奶一个户口的，因为之前一直住在我奶奶家，是这几年才搬走的。