购房贷款期限未延期,延期补偿金是否可以退回

律师，你好，半个月前,通过中介协议购买一个二手房，协议时间是60个工作日，大约是3个月。昨天协议进行银行贷款的签约,但是由于当时银行就第一套房优惠利率30%的约定没有确定,最终没有签约。又由于当时说改用公积金贷款，但是由于担心延期，卖房提出先给予5000元做延期补偿金，当时没有多考虑就同意了，给予了5000元，卖方也签收了5000元延期补偿金的收条，但是没有对于这个签订任何的协议，也没有签订协议说一定采用商贷或者公积金贷款。 由于今天已经有多家银行给予了0.7优惠的确认，并且中介原来给予的公积金贷款计算有问题，突然又多出来了1.5W左右的契税等；于是就决定了还是采用商业贷款。采用商业贷款，无论如何也不会超出这个时间，那么请问现在我是否有权收回这5000元呢？如果卖方一直不同意推脱，我应该采用何种态度面对？如果进行上诉，我是否站在有理打得一方？