请问中介有权扣押我的2证吗

我有一套房产要出售，中介找到一位买家和我签定了3方合同。当日买家支付了我一万元定金以及在中介的要求下支付了所有中介费4000元，中介收走了我的2证。现在到了合同上买家应该向我支付首付款的时间了，但是买家现在因为家庭纠纷不能提供户口本而且明确表示不想再履行合同了。我提出既然买家违约就应该解除合同并且中介应该归还我的2证，可是中介方却说要买家同意才能解除合同。现在交易没有成功，中介却不愿意退还4000元中介费，买家也拒不签同意解除合同的协议，中介以合同不能解除为由扣押我的2证不还。请问中介有权扣押我的2证吗？我想拿回2证应该怎样做？