为了100元维权

你好，我通过中介租房跟房主谈好800元每月租金，觉得合适就同意承租，然后中介让交100元定金，再择日签合同，之后房主又觉得自己不合适将房租改为900元每月，我觉得还能接受就也同意了，到签合同那天房主又说他打算买房，到时会带人来看房，我们觉得这样会打扰到我们的正常生活并面临会被新房主收回房子再次租房，于是转天告诉房主不再租了，房主认为我们耽误了他出租别人的时间，就提出之前交的100元定金不再退回，现在他又将房子租给别人了，我们想知道这个定金还能不能要回来。谢谢解答，请详细，谢谢。