我能不能要回保证金

我与2005年7.1号通过浙江雷博人力资源公司金华分公司的介绍，在金华报名参加出国劳务考试，考试我通过了。按他们的要求先交1万元的保证金。但由于我的护照办不下（由于我是今年刚毕业的本科生，与2005年5月22日与杭州某公司签过协议，档案放在了下城区人事局，虽然双方解除了协议，但我的户口如果要落实到人才市场，要9月办改派）而国外的公司要求是8月出国，没有户籍办不了护照，显然来不及。我现在要求退回保证金（我没跟劳务公司或国外的公司签定任何的合同），但这边的劳务公司以那边公司给我办了签证，交了保险为由不退还。