别人使我的身份证贷款，我想贷款都贷不出来，我想把我的名字抽出，我该怎么办

别人使我的身份证贷款，我也签了字，已有3---4年了。连利息都没有付，他也没打扑还，现在我想贷款都贷不出来，因为他使款也没还也没付息，失信。我想把我的名字抽出，又抽不出来。银行领导说必须还上或付息，才能把我的名字抽出，可是他又不还，我该怎么办。