请问我这种情况能否起诉，起诉后可能会如何判罚

我老家是农村的，有1亩左右耕地几年前年租用给了本村一村民作为堆放木料场地。因为村民之间没有多少法律意识，当时只是口头说合，每年按照占用面积付给一定的粮食作为租金（800斤小麦/亩）。占用期间这户村民把堆场周围砌筑了围墙，并盖了临时小房2间。目前因为此村民已不在做堆场，且我家人想重新耕种此部分耕地。经和租用户商量，他们不同意腾出耕地归还。后通过村干部做工作也没有解决。现我想通过法律途径解决，请问我这种情况能否起诉，起诉后可能会如何判罚？