父子之间房屋使用权侵权诉讼咨询

我于2003年与妻子结婚，订婚时我父亲答应我们婚后居住在现住址并要求“只有你住的，没有你卖的。”！2011年我父母经法院判决离婚，其中我现住房被判归我父亲所有。之后我父亲要求我归还房屋，因本人无住房，所以与我父亲达成口头协议（他满足我的要求我就搬家）。但我父亲没有按照口头协议的内容履行，因此我至今未搬家，现在他到法院起诉我，要求我：“停止侵权，倒出侵占的房屋。”！请问，作为被告我该怎样处理，或应注意哪些事项？谢谢！