我把单位集资建房权让给了别人，现在想要回来行吗

去年我把单位给职工集资建房的权利让给了别人(当时单位不让给别人)，我给对方写了一份自愿将职工集资建房权让给他的条子，对方给我2000元钱(条中没写此钱)，说是以后还需我出面跑很多事，这钱就当跑腿费了。去年5月对方交了集资建房首付款8万元(此房总价19万)，因为我单位不让给别人所以必须以我的名交款，请问这种情况下我能要回我的集资建房权吗？如果能要回的话，从法律上讲我怎样给对方补偿？谢谢!