农村居民房屋买卖纠纷

1984年，我买下邻居陈某的旧房屋四间，当时签订了合同。大致内容如下：一，房屋作价8000元。二，卖方责任山交由买方管理使用。三，房屋宅基地以土换土。合同签订后，我当即付清了房款，也取得了卖方责任山的管理使用权至今，但以土换土这一项，因为卖方在卖房时就迁入城镇，对我换给他的土没有管理及经营。到现在，卖方提出：要收回责任山，并且要我负责为他提供临公路的土地，便于他再建住宅。请高人指点：对方这么做是否有理，我该如何处理？万万感谢！