我和用人单位签了三方协议，协议约定违约需要赔付5000元，还用赔三方的违约金吗

不去就不去吧，你先不用管它。不一定会真让赔5000元元。

除了竞业限制和培训外，其他情形约定违约金都是无效的。

劳动者和用人单位签订劳动合同，除了竞业条款或者培训协议外，用人单位不得和劳动者约定其他违约金。劳动者违约的，需要依法支付对应的违约金。