1月26日我收定金3600元

1月26日我收定金3600元。约定2月2日开始出租我的商铺，租期2年。3个月1付。先付后用。他负责水电煤费用。明年每月增加100元。1月26日到2月2日我们在承担做店门上有矛盾（原来没有门。需要1800元左右。）他没有和我契合同。2月3日我3400元出租给另外的人。我现在不想返回全部的定金。他说要告我违约。说我没有和他契合同判罚我付2倍定金和相关损失（定金书上没有写我违约的后果）。我们没有通过中介介绍。