关于咨询责任的问题

律师：您好！ 我姓马，在建筑公司下面的工程项目部里担任安全员岗位，项目部挂靠的土建安全员上岗证也是我的，现在我要离开了，但是老板没有把土建安全员上岗证证书原件还给我，就是把我的证件扣住了，如果在我离开之后（在离开以后的日子我也没拿老板的工资），工地上出现较大的安全事故，在法律上讲，我该不该负责呢？ 我个人认为虽然项目部报审文件里挂靠的是我本人的上岗证件，但是我已经离开了，已经和老板不存在劳动关系了，就算工地上出了安全事故，也跟我没有任何的关系，是这样的吗？