咨询：他该不该扣我的保障金

去年4月22日，我在武汉一家湖北地区服装代理那里进货，当时见面谈条件时,他说需要交保证金3万,时间一年,任务是年进货量是45万元,如果完成,我们可以做我们所在地市的总代理。我们要求签订合同，他说他没有，他说签了合同对我们也不利.......我交了3万元保证金，他也给我开了收据（当然，条件非常的苛刻，首批进货6万元，不能退、换货、不能选货、进价5折拿货）。作为我们认为看好的品牌也是长期经营的打算，在装修上花了3万元，可是经营半年来，从去年五一开业到年底，共进货10余万元，销售形势不好，进货量大，加春节后，我们不断委托在武汉的朋友和这里的朋友、家人去武汉的时候，在其展示店看看是否有新款（我们也是常常在那里拿货），他们在去年春节前进了冬装后一直没有进新款。加之我们所在的商场整体经营效益也不好，从今年初就开始放出风说是要更换品牌，由经营服装改为经营鞋帽，在商场里，由于本身销售也不好，一些商户也就纷纷撤走，后来，通过多方打听才知道，所谓的湖北总代理他们今年初就不做了，也更换了经营其他的服装品牌，在此期间他们一直没有和我们联系，也没有通知让我们进货（原来每月或者来了新货都打电话催我们进货的）。这时商场也就没有几家商户了，我们也就清理退出了。近一年来（今年4月底整一年），我们共计亏损近10万元，现在还有近300件衣服和300个衣架（4元1个），当然这我们没话说，可是，当我们要求退保证金时，他说我们没有完成销售任务要按比例扣，当时并没有说得很清楚，更没有签订合同，当我说他春节后的几个月，他没作了，即不通知我们，又没有及时提供新货时，他一会说他合同到期了，一会又说他与厂家合作不愉快闹翻了才不作的，我问他为什么事先不和我们签合同，他说他是凭什么良心，不需要合同，又说可以现在补签………我想问问他该不该扣我的保证金？？？？