搬运工卸货时砸到路人时责任在谁的问题

前天我有一卡车货回到市场,请了一批搬运工卸货.在开始卸货的时候,一个女的在车旁边走过,在车上的一名搬运工没看下面就扔了货下来,刚好砸到了那个女的头上,女的立刻晕倒.报警后,调委会的人来了解情况时,搬运工的同伴们都说是司机停车没停好,货掉下来的..后来调委会的人判定是司机和那名搬运工的责任,让他们双方各赔偿1000元.双方签字同意,搬运工因没钱,先问我借出,在往后的卸货款中扣除.但是现在市场的高层管理员说我们也有责任,原因是我们是雇佣者.有点让我们替搬运工陪钱的意思.请问,在这个事件当中我们到底有没有责任?该做出赔偿吗? 这个市场的所有货物都是这批搬运工卸的,他们在这个市场已经3,4年.市场的管理层现在是不是想让雇主来替他们承担责任?