离婚协议书上写到房子归小孩所有，离婚协议书上没写到这房子男女双方居住权，女方现在要居住这房子我因该怎么办

离婚协议规定，房子属于孩子，双方在孩子年满18岁之前放弃财产权，孩子由男人抚养。离婚协议没有规定男女都有权住在这所房子里。这个男人有权和他的孩子一起生活和抚养吗？这位女士现在想住在这所房子里，那我该怎么办？