可以退房，但是不退款怎么办

我与2005年3月购房，购房合同中规定最迟不得晚于8月交房，但是地产商与2005年11月才通知可以交房。同时由于知道该房地产商出现不能交付房产证和购房面积复核时产生实际面积大于购房面积，多户出现补款事宜，加上小区物业管理不理想，遂我以违反交房时间为理由提出退房。 房产商同意退房，我方于2006年1月提出书面退房申请，按购房合同规定，3月内必须退款。 房产商首先告知要过年，春节后再来。在春节过后，房地产商告知要退房必须在房地局销户后，所以我方和房产商一起跑了房地局。于3月底我打电话到房地局，被告知房产已经销户。 于是我再次催要房款，房产商说没有款子他们在蔡甸有工程资金周转不过来，要求两次付款，各50％。 同时在提出销户时他们（房产商）拿走了我们的购房合同（我们有收条）。 他们是否侵犯了我的权益？没有合同在手可以告他们吗？以什么名义告呢？