这样的算怎么回事

昨天晚上和朋友出去喝酒，我弟弟开车（他没喝酒）！走路上被出租车撞了，然后我们要求赔偿，他说私下解决，说他身上钱没带够，让我们去找他儿子要，说他儿子在那那！我们就扣了他的手机，然后过去找他儿子，过去后，他儿子又以我们没有现场不想赔偿了，然后发生口角！打了起来（打完之后我们走了，忘还给他们手机了），之后听说他们报了警，说我们抢他的手机！象这种情况我们该怎么办.责任在哪方？他们这种算不算诬陷我们啊？