我的房子个中介公司卖了，他当时拿了一百万给我说装修房子结婚，现在我又卖了一套房子，应该怎么处理

你好，我的房子个中介公司卖了，当时没过付，因我女儿没有左，他当时拿了一百万给我说装修房子结婚，还差五十多万，现在我又卖了一套房子，现在他叫我退钱给他不要房孑了，应该怎么处理