没写书面证明.后来农村新区规划把这3分田征去了,还说他家和我家换的地面积不够,有没有权提出赔偿损失

我是云南红河的一个农户,在89年的时候一个亲戚用3分田在我家4亩的田头换了一块同面积的田盖了一间房子,当时双方只口头搭成协议,没写书面证明.后来农村新区规划把这3分田征去了,现在已经建成了民房.后来在我家田地里盖房子这家人乱占地,在他房子后面我家地里又用砖头拦成围墙,我们叫他家拆开,他家不拆,还说他家和我家换的地面积不够,我们当时也请了当地办事处来通过从量地面积来调解,量下地来的结果是他家围墙以内就多占了我家20多平方米,所以我们要求他拆出围墙,归还土地.可他家不在调解书上签字,围墙也一直没拆,请问现在我可以通过什么方法才能让他把围墙拆开,调解书上他家不签还有没有效,围墙里面多占的地我有没有权提出赔偿损失,如果要打官私,我要准备些什么,当时他家盖房子时也没通过有关部门办过手续,谢谢解答.