别人与我调换了二十年的土地，现在他要换回去，我们当初没有签协议，请问我可不可以拒绝

你原来调换的证据或者证人语言，如果有的话，而且村民小组的人都知道，你当然可以拒绝。同村可以互换土地使用权的。

有相关的凭证吗

还是聘请律师代理吧,您自己打不了这个官司!以后还会遇到您不懂的问题的。要看案件具体情况判断。