后来因为单位同事***因结婚需要向我们商量借用我们的房屋，私下协议后我们搬到公司分配给他的房子(乙)现在如何要回房子？

公司曾经分配过我们一套过渡房(甲)作为结婚用，后来因为单位同事***因结婚需要向我们商量借用我们的房屋，私下协议后我们搬到公司分配给他的房子(乙)住，现在如何要回房子？通过公司，还是走法律途径。