父亲是再婚家庭，婚前双方各有一套住房，房屋产权由我们享有，他们不同意，我该怎样才能要回房屋产权呢

父亲是再婚家庭，婚前双方各有一套住房，都是只缴了一部分钱，婚后先买断后母的房子，前年才由我们出钱把父亲的房子买断，证上是父亲一个人的名字， 立了个协议说明自购房之日起，房屋产权由我们享有，但他们要住到去世为止，双方都签了字的，但没公正，但现在我们要求过户，他们不同意，理由是怕我们把他们撵出来，不让他们住，我该怎样才能要回房屋产权呢