压到别人家的房子了，而且别人家的房子已经十几年无人居住，对方说要求赔偿一万甚至更多，这该怎么协商

我家的老房子因为自然灾害原因塌了，压到别人家的房子了，而且别人家的房子已经十几年无人居住，属于荒废房了，对方说要求赔偿一万甚至更多，这该怎么协商，他家是砖房，我家是泥砖房，压到一面墙，凹进去四五公分而已，楼顶上也有压到，但是之前他家楼顶就有漏水情况了