我的养老金该怎样办理

大家好！我是一名退伍兵。于2004年底退伍，分配到当地一事业单位后一直未能上班《报到后告知我等通知》，至2007年9月底才通知上班并要求缴纳4000元养老金《已缴纳》。然而今年7月单位通知缴纳养老金时单位人事股长说我的养老金不符合条件，缴纳不上。随后我多次去劳动部门咨询无果，再三追问人事股长后，他就将我上班时缴纳的养老金退还我并称：你自己交吧。我又去劳动部门办理时才知道现在如果缴养老金须补交从2004年退伍——2008年3年的滞纳金1万多元《养老金另算》。请问我未上班的两年和上班的一年的滞纳金都应当自己承担吗？因为单位的过失我未能上班造成养老金的漏缺该找谁弥补？我的养老金该怎样办理？