欲解除房屋租赁合同房东不答应

我和三个朋友于08年6月份合租了一套房子，签的合同是一年，当时交了1000元的履约保证金和2000元的财产押金，现在住了半年了，我们因为其中一个要搬出去，且找到了离公司更近的房子，想解除合同，但是房主以理由不正当为由不同意我们解除合同。他依据合同的第十二条： 12、租赁期间，甲、乙双方均不得无故解除合同。如甲方违约单方面要求提前收回房屋，必须提前十天通知乙方并取得同意，同时需双倍返还履约保证金给乙方；若乙方违约单方面要求提前退房，必须提前十天通知甲方并征得同意，同时不得要求甲方返还履约保证金。但协议期限内若遇拆迁、道路改造等非甲方原因导致无法继续履行协议的，甲方应提前十天通知乙方终止本协议书履行，双方互不承担违约责任，双方按实际天数结算租金及乙方应承担的费用，甲方应返还履约保证金给乙方。 拒绝解除合同，我想咨询一下，我们可以解除合同吗？房主有权利不让我们解除合同吗？ 当然，履约保证金我们不打算要回的，但是想要回财产押金。