我动手轻轻碰了对方一下，对方又还回来了，现在我们两个都上医院，双方都有损伤，谁负责

责任承担需要结合双方过错来定，若两人以上没有共同故意或者共同过失，但其分别实施的数个行为间接结合发生同一损害后果的，应当根据过失大小或者原因力比例各自承担相应的赔偿责任。