婚前我借给男方的钱离婚时男方不承认怎么办

我在去年结婚前借了3W6给他，现在结婚才1年半他提出离婚，他因为工作调动去了新疆，我回了四川，现在2人不在一个地方，婚后他对我使用家庭暴力，为此还在派出所备有案底，现在他休假回河北，说还我钱叫我过去办离婚手续，但是据我所知，他是没有偿还能力的，我在河北也没有亲人，我怕过去以后被他强逼着在离婚协议上签字，最后钱也拿不回来。他在河北有一套房子，是他的个人财产。这个我知道不属于夫妻离婚共同分割的财产。请问我要怎么办才能拿回我借给他的钱并且把婚离了呢？