把房款退给他们这样可以不卖吗

我想咨询一下，在老家的房子（厂里的福利房）房产证及土地证都在房产局，也不在我们手上，那时出于是亲戚关系把房子转让给他们，手写了一份房屋转让协议，双方都有签字，之后款已付清，但一直没过户，他们后又装修现一直在使用。现在因关系不在，而且不想卖这房子，想自己留着用。把房款退给他们这样可以不卖吗？还有手写的房屋转让协议，也没有拿去公证，这样在法律上是被认可的吗？请帮忙看看该怎么办？谢谢！