二手房签完合同交了定金后，想退定金，中介和业主不配合非要让我讨违约金百分之20，我该怎么维权

您好！二手房签完合同交了定金后，才发现实际户型和合同户型不符合，想退定金，中介和业主不配合非要让我讨违约金百分之20，我该怎么维权？谢谢希望您的回复。