房屋买卖中出现的问题

我于本月6日在杭州某房屋买卖中介公司签署了房地产买卖居间协议，我是卖方。签署当天买方交了两万意向金，第二天追加了三万意向金。合同中有一条是卖方的原始三证委托中介公司办理，办证所需税费由卖方自行承担。协议中写明买方同意于05.5.20前支付首付（前提是卖方原始三证办出）。若买方在此过程中违约，买方意向金不予退还；卖方违约则赔五万给买方。中介则收取10%居间费用。 我想问，如果5月20日之前中介没有把我们的原始三证办出，那我方是不是就违约了？我们的原始三证是委托中介办理的，那违约金是中介付还是我们付？