在私房交易中买房能不能自己拿着卖房的房产证到房产局办理过户手续

问题是；去年自己在不了解当时的房价情况下，(因为我们在市里边住，这是我们老家的一套住房，有将近八年了没有回去)出让了一套住房，在他们交完钱我们把房产证给了乙方后说去房产局给他们办理过户手续时，乙方说不用房产局里他们有人，不用我们去他们子就办了，由于自己没有买卖方的经验，就同意了，双方自己签了一份简单的合同，在合同上也注明了过户有乙方自行办理，手续费有乙方自理。但过了一段时间，乙方又打电话说房产局现在不让他们自己办了，还得让我们给他过户。因为当时我们也觉的有点意外，一般买房人都会把过户的事情看得很重要，都是抓紧过户，怎么乙方自己不着急呢。这时候我们觉着事情不会这么简单，就通过人了解，在我们之前就是我们一个单元的一楼买了一套住房，价格比我们的高许多，才知道为什么当时乙方不让我们去房产局的目的，怕我们知道当时这个价格后，不卖给他们。所以就采取了不用我们过户，手续费自理的办法，骗取了房子。就是造成乙方已经住进去了，形成既定事实了，才要求我们给他们过户。我们知道上当受骗后要求收回房子，不同意在出售给他了。请问律师我们该怎么办。谢谢