河北廊坊 签订的拆迁款重新分配协议可以反悔吗？

我有一个妹妹，母亲前几年去世了，父亲又找了一个老伴（未领证）。2012年我们村拆迁，所分得的拆迁款基本都买了回迁房（回迁房至今还没有分配下来）。今年3月，我父亲反悔了，跟我们兄妹俩要钱。经过村委会的调解，我们兄妹俩各支付父亲8万元，协议已签，并由村委会主任和副主任签字公证。但父亲之前把我的回迁房周转金1万1千元领走了，没给我。我是否可以从将要给他的8万元中扣除？这份协议父亲是否可以单方面反悔？