明明不是我先动手为什我要付80%的责任

我们公司份AB两个厂，但员工公用一个食堂，当天午饭时间由于A厂的刷卡器出现故障人特多而且很挤，我是 B厂员工但我打完饭出来碰到A厂一个员工，他从后用膝盖掂了我一下，然后我就骂了他，他朝我的脸打了一拳眼镜都掉了，然后我就把饭盒砸他身上去，结果两人就打了起来··打完后才发现他的牙被我打掉了两颗··现在公司调解说我应当付80%的责任，赔偿他4800。