我是否应该撤资，应该怎么解决

我和村里的干部签订了一份土地租赁协议，用土地进行养殖，租赁费分期付款，首付款已交，我们也已经动工建设养殖的厂房，可是当地村民不同意我们养殖，想要我们向他们支付钱款，否则就集体上告，村里干部怕村民闹事也不干出来解决，我们作为租赁人应该怎么办呢？要撤资吗，如果撤资那么要向谁所要赔偿呢？