个人所得税纠纷

本人购买了一套二手房,现在以拿到产权证书,在银行抵押做贷款。卖家也收其尾款,当时合同注明是卖家实收。房产证户名是X先生,当时房产局查测该户主名下此房为唯一物业,但在该物业发放房产证之后,X先生又出售了他与妻子联名户头的物业一套,于是房管局查测后要求X先生补之前第一套房子的个人所得税,但这时第一套房子的交易过程已经完毕,于是卖家X先生说这个税应该由买家也就是本人来支付。但是我咨询了我当初委托的中介,和按揭公司,都说这个税不应该由我来承担,因为第一单交易已经完毕,买卖双方并不存在漏税,而且房管局是不会在未完税的情况下给我房产证,银行更不会贷款给我,由于出现补交个人所得税的情况,是因为卖家又出售第二套房产才产生了第一套的个人所得税,这个责任因由卖家承担,如果说N年后卖家再出售第二套房产,房管局还是会让他补交个税,但那时他还会找买家负责吗?我想问,这个责任到底是谁的?因为当时交税费是由按揭公司代理的,而且缴税也是被动行为,不由个人想交什么税就交什么税,该缴纳的税费本人一分不差的都交了,也有收据和发票为证。在拿到房产证的情况下,这个人所得税还应不应由我来承担?