银行卡密码被盗存款损失由谁负责

2006年7月28日晚21时左右，我和女友到广州市**路**号中国**银行广州**支行的自助银行欲用*行发行的**卡刷卡取款。来到门前时门没有自动打开，我女友就在自助银行门禁旁的刷卡装置上刷了卡，可是刷了好几次门都没有打开，这时就按照门禁装置上的提示：先刷卡再输入密码等要求操作了一遍，但自助银行的门仍然纹丝不动，当时我们自以为是自己的卡有问题，就站在旁边等等有没有人来取钱。没过一会就又来了几个人，他们也刷了卡，可也没能进入，我们都以为是银行的门坏了，无奈之下只得离去。 可就在7月29日下午14时左右，我们在**银行的另一支行欲取款时发现，卡上的钱少了5000多元。此刻我们想起昨晚没能进去门可能有原因，便找到了**银行**支行的保安和银行大堂经理，问及昨晚自助银行门打不开以及需输入密码再进门究竟是怎么回事，他们却说不知情。此时和他们一起到了门禁装置看了一下，他们都说不知道眼前的这个门禁装置是否是工行所装，要先查明后再另行通知我们。 当天下午16时左右，他们打电话告知我们说那个门禁上的装置是别人装上的。而他们的装置刚好被这个装置给覆盖上了。我们便立即向公安机关报了案。经查，这张工行牡丹卡内的存款已在28日晚被人分三次共提取5000元，还花费了56.3元的手续费，而我们对此一无所知。 我们作为普通的银行卡持有人，在门禁操作系统又无任何说明的情况下，我们完全相信“盗码器”就是银行的装置！事后我查阅了几个类似的案例和相关的法律条例，也初步了解了我们和银行之间的责任关系，在我们和工行的交涉中，对方却没能承担他们应尽的责任和义务，说不是他们的责任，他们也只是受害方而已，不愿对我们的损失负责和赔偿我们的损失。 希望正义律师能给予我们一定法律方面的咨询和帮助，有什么上诉方法，如果责任在工行，我将用法律的手段来维护我们持卡人的合法权益。 恳请你们的帮助与关切。