单位挪用住房公积金的问题

我2003年起至今在一家省属事业单位工作，每月工资条上都扣建房基金50多元。 现在单位集资建房，让分三次缴清房款。我想申请住房公积金贷款，单位说所有职工的住房公积金都没有交到住房公积金管理中心，而在另一个账户上周转，所以我不能申请住房公积金贷款。但是如果我参加集资建房，单位可以把我个人交的和单位应该交的那部分，大概也就是不到1万元钱返给我。给大部分职工都是这样说的，就是不愿意把前交到住房公积金管理中心。 单位返的这一点钱根本就是杯水车薪，起不了多大作用。我还要在这个单位工作，不想闹得很僵。 我该怎么办？怎样才能用上住房公积金贷款？