村长有权把地调出去么

我家在农村，前几年响应国家号召签订了30年土地承包合同（合同还有20年才到期，合同中只有土地使用期为30年，并未涉及迁户口调出土地的条款），那时我跟弟弟的户口都在农村，所以有我们的土地。2004年后由于升学原因我们的户口相继迁到大学，转为非农业户口。现在村长说既然户口不在村里，就不应该有我们的土地，要将我们的地调出，分给那些刚刚出生的孩子和刚刚嫁到村里的媳妇，请问村长这么做合法么？我们应该怎么做？