在工行工作10多年，是否该安静的走开

本人于1997年以临时工的身份进入工商银行工作,但养老统筹,住房公积金,计效工资等都没有2004年单位让我们与市里一劳务公司签定劳务派遣合同2005.2006年又让我们和县里一劳务公司签定合同，2007年11月新劳动法出台前单位找了一家企业让劳务公司与签定合同让我们以借用工的形式继续在工行工作,2006年单位才给我们开始买养老统筹以前的就不管了.医疗保险2008年8月才办理，现在单位要我们和保险公司签合同，要么走人，我们的工资与正式工的工资差距一直很大.您说我该怎么办?我已工作了12年多，能要求单位签订长期合同吗？涉嫌违法我该从哪几方面申请劳动仲裁？