退房子房东不退押金，我们该怎么办

我们在厂旁边租了一个带卫生间的小套间，那个房东（其实他是二手房东）时常乱收费，别人像他这种房只收200多元的房租，他收250元，这还不算，后来还加收电视费，垃圾费，路灯费加起来共有270元左右，后来又加收房租30元，这样一加起来，都有300多元了，我们不想租，他就说不租你就走，马上走，我们交了房租肯定不想马上走了，而且也没有那么马上找到房子，后来他还时不时说你们还不走啊，我们就开始找房子，找到房子后，提前了4-5天同他说不租了，最后我们搬了出来，退了房，但是他却不肯退房子押金250元，他的理由是我们没有提前10天通知他，他之前跟本没有说过提前10天通知他退房才可以退押金的，后来他说他早就贴在墙了，原来他一直用写有租房请联系谁谁的红纸覆盖住了原来的纸，只是这两天才撕开外面的纸露出了原来的所谓通知，要不我们早就通知他我们要退房了，因为我们新租的房子已经是提前13天就租好了的，如果我们知道有这个通知我们能不早同他说吗，现在他就很不讲理，坚持说他这个通知一直都有，就是不退押金，还找了一些关系，找了一些不知道是什么人过来，想吓唬我们