(浙江义乌）我这房屋买卖有效吗

2003年我家老房子准备拆掉新建，当把屋顶砖瓦拆除后。邻居来干涉，我于是向有关部门反映，得到回复是邻居不同意就不能建房。后来那邻居来说让我把房子卖给他，说不然我也造不成。（这里说的我家就我一人，因我父亲去世，母改嫁）后我无奈，只好把房子卖给了他，并签了协议书。现我无可去处，想通过法律要回房子。请问我们那种协议在法律上有效吗？因为我卖他时只剩下四面泥墙，这样是否属于买卖房屋？很茫然