我该不该交违约金

去年11月份我在原来单位报考了南京大学博士，今年3月17日来到现在的单位工作。今年5月9日南大通知我被录取并发来调档函，要求我在5月15日前必须将档案调至南大，否则取消录取资格。但我现在的单位却要我支付65500元违约金才肯同意调档，时间紧迫，5月12日我被迫与现在的单位签订了同意支付违约金的协议。我确实是被迫签订这份协议的，因为自我来新单位工作到我档案调走为止，只经历了57天，除了工资之外我什么待遇都没享受到，而且单位也没有跟我签订协议，更没有明确相关的违约责任，现在乘我调档时间紧迫之机强迫我接受如此高额的赔偿金，而这些钱都是我东拼西凑借来的，我无力承受。我该怎么办？难道在这个单位呆了57天就是罪过吗？公理何在？