钱不是我家借的，难道我们真要被赶出去吗

如果房产证不是外公的名字，并且产权人未签名，那么该抵押可能无效（之所以说可能，是因为还可能存在表见代理的情况），赶快找律师当面咨询吧。

如果证明是未经过产权人同意，则抵押合同应当无效，由工厂偿还贷款

这样的事首先要看抵押的效力，建议你家带相关资料找律师分析后再考虑应对方案。