没有协议是否存在违约?

我到新单位不到2个月,因考上研究生要离开,但自我到新单位开始到我把档案调走时学校一直未跟我签订协议,但其他的人都签订了协议.现在我要求调档,单位以我违约,并违反自身规定要求我支付高达65500元违约金.我来单位后除了基本工资外没有享受任何待遇,而且在进单位之初单位并未跟我说明学校的规定,否则我会推迟一段时间,因为我在来单位之前已报考了研究生. 请问我单位的做法是否合法?我应该怎么办?