我购买一套二手房，我认为既然有约定，就不能收回使用权，不知此事在法律上有什么说法

我购买一套二手房，原房主跟开发商有约定《主屋后院墙由甲方在乙方进屋前砌好交给乙方使用》。此合同是1997年10月18号签的，我们一直使用至今。现在甲方说；原来只是给你使用，现在我要收回使用权，并在院内放了物品。我认为既然有约定，就不能收回使用权，不知此事在法律上有什么说法，特向您请教，恳请回复。