关于我们是否应该缴纳土地使用费的问题

当初部队为了扩展营区建设，在他们营区当中有一堆高达十几米的大土堆，于是部队找到我们建议我们建砖厂，后来商议在互惠互利的条件下我们与部队签定了土地使用合同，在地方部门办理了一切有关砖厂的合法手续，每年还向部队交一定数量的土地使用费，现在请问地方税务局要收取我们的土地使用税，我们是否应该交呢？我查了有关税法，土地使用税是对拥有土地使用权的单位和个人征收的一种税，而我们并没有取得过军队的土地使用权；另外还规定军事用地是免受土地使用税的；在这请高手赐教,谢谢！！