男方这样的要求合理吗

我们是经人介绍订婚的，在这之前双方并不了解对方，因双方家长想早点定下来，所以在双方认识不到半个月的时间里就订了婚，因我和我的家人长期在外打工，所以订婚是在广州举行的，订婚过后，他的家人就要求我回去，之后我就随他们回去了，但回去后不久，就在我和他同房的那一天晚上我对他讲，我以前有交过一个男朋友，还同居过，当天他并没有说什么对此不满的话，过后不久，他的态度明显没有刚开始那么好了，白天在家里爱理不理不的，但晚上还是会发生性关系，刚开始我以为他的性恪是这样的，也没多想，时间久了，我越来越发现他是在意那件事的，但他又不表露出来，在家差不多呆了2个月，我就找人帮我找了一个工作便出来打工了。出来打工好几个月以来他都不曾打个电话和发过信息给我，就算我主动发给他，他也不会回，就在前一个月，我问他到底想怎么样，但是这样回答的：“要不你就退钱，要不就拖。” 我想请问这样的事，女方应该退钱吗？如果退钱，那女方的损失怎么办？