我该退还房子给原单位吗

尊敬的律师：你们好！我和我丈夫在原单位公有房出售时，购买了当时所居住的房子，购房时签订的合同中有一条：购房后需在原单位服务五年，否则，将原价退回。购房时间是2000年一月。后我丈夫出国，现已回国到另一单位工作，我则一直在原单位工作，于2005年2月18日办理离开手续后到了现在的单位。现在原单位让我们退房，我们该退吗？购房合同及房产证上均只有我丈夫的签名，但买房时是按照我们双方的工龄来计算的。