长沙房产纠纷，法律求助！谢谢！

我有一个弟弟，母亲已经去世没有遗嘱，父亲健在。2004年，在亲戚撮合下，父亲同意将所属他名下的房产（当时房产权不是100%，后由我夫妻二人补交6000余元房款后才成为全产权）与弟弟提前做分割。2004年该房产总价值不到4万元，按4万元算。同年我与弟弟协商，并协议如下：我给予我弟弟2万元，购下我弟弟应分得的房产部分。并分两次付清，首次付1万元（弟弟已经签收），余下1万元将于2007年5月份搬出时（后）一次性给清我弟弟！（因为我弟弟婚后至今仍然住在此房中，所以余下1万元至今未给）。协议上有双方手印为证，有亲戚作为见证人签字。当时为了便于过户，父亲、我和弟弟到公证处做了公正。公证书1：父亲把自己名下的全部房产赠与我，我接受。 公正书2：我弟弟放弃继承，并将属于自己的部分房产以2万元的价格出售给我，我同意并接受。公证处公证后我便拿公证书到房产局过户，并用此房做了住房公积金抵押贷款1.4万元，后由我们夫妻共同偿还贷款。（2009年8月提前还清了贷款债务）2006年3月份，为筹集资金，我单方和弟弟签了一个出售该房的协议，并作价该房为4.1万元，并协议该房款分阶段几次给清，给清后即可过户给我弟弟！