非常郁闷的问题

我一直给我大娘种地,种了两三年,但是大娘今年去世了,在这两三年的时间我每年都向她的女儿交一定的费用,现在有村民要剥夺我使用这块地.而在我们村有好几家这样的情况,他们家人去世后他们还依然在种地,而村委会没有剥夺我的使用权,村委会也没有让我村的那个村民种这块地,但是那个村民非要种我大娘的那块地,我应该怎么办??