当时我也和工作人员告知我名下有贷款，而且我也告知是贷款买房，银行说不能贷款

我想问下，我在聊城市东昌府区碧桂园星汇买的房子，当时我也和工作人员告知我名下有贷款，而且我也告知是贷款买房，工作人员让我把征信给她，她说我的没事，我才交的首付，但是交了首付以后，银行说不能贷款，必须把贷款填上，我的贷款是需要两年后才能填上的所以我们现在没法填上，我们想退房，对方却要求我们拿违约金