请教：违约金一定要按合同规定的付吗

律师：您好 3年前我考上了硕士研究生（非定向，公费），但是原单位不愿意放档案，为了上学，我和原单位签署了委培协议书。单位按照在职不在岗的标准发给我工资，但不是按月发，每学期上学前，向单位预借半年的钱，而且写了借据。3年共借了6万元左右。 协议上规定，我毕业后必须回原单位工作5年，违约金是3年单位给我工资的5倍（也就是要大概30万左右）。 我今年硕士研究生毕业，已经考上了博士研究生，不想再回原单位工作了，我愿意赔偿单位3年来给我支付的工资（借的，有借条），也就是6万，但是5倍的违约金我实在是赔不起啊。另外，我原来工作单位是所中学，我和单位之间是人事关系。 所以请教律师先生：违约金一定要按合同规定的付吗？？