与律所签订了离婚抚养权代理合同，我提出退多少合适

律师好。与律所签订了离婚抚养权代理合同，代理费2万元已交。现委托人不离婚了，且律所未实际开展任何事务（委托四天后提出取消委托）。现与律所协商退款事宜，律所说最多愿意退还5000元，请问这合理吗？我提出退多少合适。补充说明：合同约定，委托人违约不退一分钱，律所违约退还我交的2万元。（冲动下先交的费，隔了10多分钟后律所拿来合同签的，当时未看条款）