请问这个理由可以解除合同吗

我与一家服装公司签了一份加盟合同，给付了保证金。当时那家工厂口头说他们每一个季节都会出200多个款，结果今年冬装他们只出个几个新款而已，给我发的货全部都是去年和前年的那些不好卖的积压货，所以导致我的销售业绩 特别的差，现在我所在的商场说我的业绩不好不给我做了，商场也给我出了证明说他们的服装确实有问题不好卖，所以我要求和工厂解除合同，并退还我的保证金，可是工厂不同意，请问我能找理由解除合同吗