我购买了一套二手房，契税等税费，个税本应卖方交纳，就不能退，我该如何应对税务部门的做法？

您好！ 近期，我购买了一套二手房，并且按规定向税务部门交纳了个人所得税、契税等税费，但交税之后我发现我符合免征个人所得税的情形（注：个税本应卖方交纳，但按照本地行业潜规则，实际上是我交纳）。 当我主张要求税务部门退还我交纳的个人所得税时，税务部门缺称：个人所得税已经交了，就不能退，并称有相关的文件规定。 请问，我该如何应对税务部门的做法？ 谢谢。