大家帮忙来看看，老板这样做行不行

我在一个单位辞职了，老板很不开心。扬言要在我的档案里写一些损害我的话。现在劳动关系已经解除，档案也托管在区职业介绍中心。我想问一下，在已经解除劳动关系的前提下，他能不能把这些文件塞进去。因为劳动手册和退工单都扣押在那里，它会不会在退工而不能塞文件的情况下，重新录用我，然后调阅我的档案后再重新退工呢？ 谢谢你的回复，这件事情令我失眠好久了，整天忐忑不安。