购房合同违约赔偿

我有一次买二手房的经历，当时通过中介看了房子有个搭建花园，中介的业务员也着力推荐这一买点（因为是给父母看老人喜欢），交了定金后来正式合同都签了（合同中没有附注有花园） 首付也付了正在办理中有一天我去看花园折了我立马打电话给中介要求不要这房子停止办理的手续，后来我到房屋周边了解到说房主知道要折才卖的。我们和中介协商退房，中介同意手续费给一定的折让，帮我们修整被折的花园等一系列优惠让我们要房子，我坚决不要房子，中介让我们付违约金，合理吗，请问？？？？？？？？ 我觉得是他们合着伙来骗我们。