栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

记一次ES查询数据突然变为空的问题

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

记一次ES查询数据突然变为空的问题

基本环境
  • elasticsearch版本:6.3.1
  • 客户端环境:kibana 6.3.4、Java8应用程序模块。
    其中kibana主要用于数据查询诊断和查阅日志,Java8为主要的客户端,数据插入和查询都是由Java实现的。
案例介绍

使用elasticsearch存储订单的主要信息,document内的field,基本上是long或keyword,创建索引的order.json文件如下:

{
  "doc": {
	"properties": {
	  "id": {
		"type": "keyword",
		"index": true
	  },
	  "status": {
		"type": "byte",
		"index": true
	  },
	  "createTime": {
		"type": "long",
		"index": true
	  },
	  "uid": {
		"type": "long",
		"index": true
	  },
	  "payment": {
		"type": "keyword",
		"index": true
	  },
	  "commentStatus": {
		"type": "byte",
		"index": true
	  },
	  "refundStatus": {
		"type": "byte",
		"index": true
	  }
	}
  }
}

某天发现有个查询功能(单独使用payment字段查询)没有数据出来,最近未修改此部分代码。对比研发环境,研发环境是正常的,同样的代码在测试环境下无数据返回。

问题定位
  • 程序中使用该字段用的是termQuery,如下:
QueryBuilders.termQuery("payment", req.getFilter().getOrder().getPayment())

在kibana上用命令诊断查询数据,同样没有结果返回,查询命令如下:

GET /order/doc/_search
{
  "query": {
    "bool": {
      "must": [
 {"term": {
   "payment": "Alipay"
 }}
      ]
    }
  }
}
  • 查询mapping信息,看是否为keyword:

GET /order/_mapping/doc

响应返回(只展示payment字段):

{
  "order": {
    "mappings": {
      "doc": {
 "properties": {
   "payment": {
     "type": "text",
			"fields": {
			  "keyword": {
				"type": "keyword",
				"ignore_above": 256
			  }
			}
   }
 }
      }
    }
  }
}
问题原因

按照mapping返回结果来看,字段payment原定义的类型是keyword,现在变成text了,这个是payment字段使用termQuery查询导致没有数据的原因。

text与keyword的区别

keyword对保存的内容不分词,也不改变大小写,原样存储,默认可索引。
text对内容进行分词,并且全部小写存储,同时会增加一个text.keyword字段,为keyword类型,超过256字符后不索引。

由于payment字段变成text了,原有的程序使用term查询,用的"Alipay",而text存储的是"alipay",所以查不到数据了。

尝试排错方法
  • payment的值改成小写
GET /order/doc/_search
{
  "query": {
    "bool": {
      "must": [
 {"term": {
   "payment": "alipay"
 }}
      ]
    }
  }
}
  • 或将term查询改成match查询
GET /order/doc/_search
{
  "query": {
    "bool": {
      "must": [
 {
     "match": {
"payment": "alipay"
     }
 }
      ]
    }
  }
}

查询有数据输出,并且符合预期,尝试方法有效。

问题追溯

明明order.json的对payment字段定义的类型是keyword,怎么变成text了?

由于出现此问题的环境是测试环境,有重删索引数据,然后再全部导入的操作(有点不规范,但仅限于测试环境,生产环境不会这么做),重新导入索引document数据的功能,es创建索引自动mapping时,payment字段的string内容,会变成text。

解决办法:

1.删除索引

DELETE /order

2.按照order.json重建索引

PUT /order
{
    "mappings": {
 "doc": {
     "properties": {
"id": {
     	"type": "keyword",
     	"index": true
},
"status": {
     	"type": "byte",
     	"index": true
},
"createTime": {
     	"type": "long",
     	"index": true
},
"uid": {
     	"type": "long",
     	"index": true
},
"payment": {
     	"type": "keyword",
     	"index": true
},
"commentStatus": {
     	"type": "byte",
     	"index": true
},
"refundStatus": {
     	"type": "byte",
     	"index": true
}
     }
 }
    }
}

3.触发程序灌数据(也可以用bulk)

小结

问题虽小,但一定要追溯源头,比如此次测试环境的不规范操作。后期如果有删除索引的操作,应该先手动建立索引后,再灌数据,而不是直接让其自动mapping建立索引,自动mapping建立的字段类型,可能不是我们期望的。

专注Java高并发、分布式架构,更多技术干货分享与心得,请关注公众号:Java架构社区

转载请注明:文章转载自 www.mshxw.com
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号