离婚的时候是协议离婚的其他的就不提了现在就一个问题，那么男方有权利要求要回房子吗

你好！ 想请教个问题，离婚的时候是协议离婚的其他的就不提了现在就一个问题，2人有一孩子, 由于女方当时要小孩所以房子决定让给女方，男方出去租房，在离婚证上也写着房子判给女方（因为当时房子贷款还没还清，离婚后男方还是在一直继续还款，所以房子是男方的名字没过户） 但是现在事情发生了变化，房款还清了，现在女方提出自己要找男朋友了，于是要把孩子交回给男方带。 那么男方有权利要求要回房子吗？ 意思是说能把离婚协议里的甲乙方的签订换位吗？