发现二手房有裂缝问题要求退定同中介费

我于08年7月底通过中介看了一套二手房。于当日签定了中介公司内部的房地产买卖合同并交了1万元定金给业主（业主已开收款证明）中介费4500元（开收据）看房时有看到一些小裂缝但经纪人同业主都说是电线走线问题。没在意。但当我带装修公司去看房报价装修时发现主卧梁上有条又宽又长的裂缝就此我对此房质量有质疑并向中介公司口头申请要求退回定金同中介费 可业主只同意退5000元其他的扣回做为赔偿金，而中介公司却说合同说得很清楚这是属于违约一分没退并还要求补交另一半代理费4500元。我该怎么办。请教。谢谢