和邻居的纠纷

我家因为拆大队垒的小墙，提前和村干部打招呼他同意了，因为墙在对门邻居墙外邻居听到声音出来骂我们然后就动了手打起来，他们先动的手，过了大概10天后，派出所通知我们去，邻居把我们告了，他们有了积水潭医院的证明和公安医院的伤情鉴定轻微伤（偏重）肋骨骨折无错位要求我们赔偿5万，我们该怎么办 。我们当天都去了医院检查没事，他的伤可以证明不是我们造成的吗？因为出事第二天他还去干力气活了。现在派出所说调解，我们买礼物去他家赔礼道歉请求少赔他一点可他不同意。我们没办法了。赔偿他几千元还可以接受，上万元真接受不了。因为本来这事和他家没什么关系，他们来我家门里打的架，赔他钱太亏。请您帮我想想办法