乙方未交货就开了发票，但甲方又认证了一部分

由于供应商没有按期交货，超出交货期两个多月后决定取消合同。但是，供应商在没有交货的情况下就开了货款的全部发票11万多，由于当时没有预料到供应商无法完成订单而发生矛盾的后果，再加上自己公司内部采购和财务的管理水平问题，在开了发票的当月就认证了该货款发票金额中的9000多月，其他发票我司没有认证。现在要求对方退还预付款时，说我们要负责发票的问题，请问各位大律师，这样我们应该负责剩余发票的问题吗？如果论责任，我们应该承担什么责任？又如何能够追回预付款项。