怎样与原工作单位脱离关系

我读研究生前在原单位工作4年。当初考研时因单位有规定没法与单位脱离。读研前与单位签订合同，违约金为10万元。我硕士读的是自费，单位替我交了8000元学费，2年后我提前攻读博士学位，博士读的是非定向统招,后来未再与单位签订合同，5年读书期间单位一直按定向生对待发工资，档案一直在单位。现我明年毕业，原单位效益差，原先工作4年所有收入总共加起来才约5万元，实在不想回。 我个人认为交回读书期间单位给的全部费用,工资当然可以。 但如果到那一步真的要交10万元违约金个人认为太冤了，原来工作4 年全部收入5万元全退还给医院，还有再赔5万元，实在想不通。 我自己认为原来与单位签订协议时我处于弱势地位，因当时不与单位签合同，单位就不让我去读书。我认为当时我与单位签订的协议 是不公平的，有失公正。 现在因单位效益不好，我原单位在外读研的人有一大批。前2届毕业的博士包括委培的都没有回去，都到别的单位上班去了，但档案都没拿走。单位也没有什么办法，现在与他们打官司，单位动不动就喊要赔10万元，20万元什么的。 请各位给我想想办法，先谢了。