这个押金我应该退还吗

我于2005年承包给原告土地1450亩，当时口头协议一共21万，收取押金1万元，我给原告打了收条，余下的在2005年年底付清，但后来原告反悔，以各种理由要求我退还押金，并且造成我当年没有把土地承包出去，请问律师这个押金我应该退还吗？押金收条是2005年10月17日打的，在2006期间问我要过几次，他是2008年11月24日起诉我的，这个起诉期限有效吗？