我父亲有套房子，但过了几天想了想说不适合做商铺，现在要我们把钱退给他，还是不应该退

你好，我父亲有一栋房子。有人想租。看完房子后，他立即决定在一年内租下来，并支付了部分押金。但几天后，我想说它不适合做商店，所以我不想租了。现在我要我们把钱还给他。在这种情况下，我们是否应该归还它，我没有签署任何协议。