他不抚养孩子我怎么办?

我与前夫于2004年6月25日因感情不和协议离婚,有一四岁男孩归男方,我一次性付清抚养费12万元,到孩子成年不在付任何费用,双方约定如男方因各种原因放弃或丧失抚养孩子时,女方所付抚养费除去已发生的费用(按每月400元扣除)余款归还女方,同时男方也应按每月400元支付孩子抚养费.离婚后他用孩子的抚养费买了一处楼房,并未经我同意.现在男方想辞去固定工作(还未辞职),说自己没正常经济来源,要将孩子让我抚养,但只想付我10万元抚养费就一次结清,我想问我可以要回我那12万钱并让他再一次付清抚养费10万元吗?如果他说没钱我可以要求他用房子抵吗(他有两处住房)?最后想问:他如果坚持不付抚养费我可以不接受孩子抚养权吗?谢谢