如何收回赠予的房屋?

我家有一栋老屋(8分地),老人在世时已赠予我们,可赠予合同上有一附加条件(可允许他后来的老伴居住),此事已过去6年,此屋一直被其后老伴居住,(后老伴有众多儿女也常住其中),使得我们有房产证却不能居住,理论上属于我们的房子却只能让别人居住,请问:我们可否通过正当的法律手续收回此屋?(或者只能任其居住到老S,我们方可收回此屋?)望相关人士给予解答,不胜感激!