我能拿到违约金吗

我单位有一在建集资住房，我已付一部分钱，去年我将此住房加价转让给王某，他付给我已付的钱以及加价的一部分。现在此房因为手续不全已停建，王某要求解除协议，我们的协议中有一个违约金的条款，但他提出此协议不合法，拒付违约金，要求我将他预付的房款全额退还给他。