抚顺我买了一套房，产权人卖房时已经离婚了我们就以他是无婚姻做的买卖交易，但是没想到不久他前妻来要房.

我买了一套房，产权人卖房时已经离婚了我们就以他是无婚姻做的买卖交易，但是没想到不久他前妻来要房，说这是他们的共同财产，要求要回。最糟的是我买房时钱就不太够所以买完后我就马上在银行做了贷款，现在他们又要要回房子，又拿不出退还房款，银行有要我还款，我不知道我要怎么办