违约是我自己理赔违约金才能把剩余的钱退回来嘛

首先要看合同中是否有约定违约金，如果有一般就按照合同违约责任计算来进行赔偿。如果没有约定，则按照违约一方给对方造成的损失来进行赔偿。