定金该不该退

我有一套按揭二手房出售，购买时间已有五年，3月3日与买方签定了购房协议，协议中约定买方预交5000元定金，并约定3月15日由买卖双方到银行办理结按手续，之后到开发商处办理合同更名，转产权手续待更名后由买方自行办理。合同更名后，买方交全款给我。但3月14日买方说不买了，由于其家里不同意，协议中约定如买方违约，不退定金。