别人赠与我们20万-在数月前，我们刚搬到这里，隔壁的邻居和我们的关系很好。但他的儿子不来看

在数月前，我们刚搬到这里，隔壁的邻居和我们的关系很好。但他的儿子不来看望她和他的母亲关系很不好，他就把他的10万元给我们，当时他自己写下了《赠与书》并有她本人的签名和楼组长的证明，但现在他的儿子和家人向我们要这10万元！我们应该还给他们吗？但他本人不愿意要回这笔钱！他本人有行为能力！我们应该怎么办？？如果进入司法程序我们是赢还是输？（如果他本人又反悔了，该怎么办？？）他们的子女说他现在有精神问题，但他本人一切很好····