我们这样私下签订的协议有效吗

因所在地区的旧城区进行旧房改造,有一户旧房的房主与我私下签订了转让户头的协议,协议里约定了卖方转让的金额;约定了卖方协助买方办理相关手续;并注有买卖双方永不反悔的条款.此协议于2003年签定,当时没有第三人在场也没有进行公证. 事后,卖方协助我办理了房屋户头的转让手续,房屋建成后我出资购买了新房,进行了装修并居住到现在.但是,最近出让方突然以我们签订的协议无效及签订协议时无其配偶签字同意为由向我索要房屋