查询全表数据也是日常工作中常见的一种查询场景。
在ES如果我们使用match_all查询索引的全量数据时，默认只会返回10条数据。
那么在ES如何查询索引的全量数据呢？
PUT book
{
"mappings": {
"properties": {
"name": {
"type": "text", "analyzer": "ik_smart"
},
"price": {
"type": "double"
}
}
}
}
PUT /book/_bulk
{ "create": { } }
{"name": "java编程思想","price": 100}
{ "create": { } }
{"name": "ES实战","price": 120}
{ "create": { } }
{"name": "ES从入门到精通","price": 60}
{ "create": { } }
{"name": "微服务架构 设计模式","price": 160}
{ "create": { } }
{"name": "架构真经","price": 90}
{ "create": { } }
{"name": "spring boot实战","price": 50}
{ "create": { } }
{"name": "高性能mysql","price": 80}
{ "create": { } }
{"name": "java进阶1","price": 10}
{ "create": { } }
{"name": "java进阶2","price": 20}
{ "create": { } }
{"name": "java进阶3","price": 30}
{ "create": { } }
{"name": "java进阶4","price": 40}
{ "create": { } }
{"name": "java进阶5","price": 50}
2、match_all全匹配查询
GET book/_search
等同于
GET book/_search
{
"query": {
"match_all": {}
}
}
发现只返回了10条记录。
这样因为_search查询默认采用的是分页查询，每页记录数size的默认值为10.
GET book/_search
{
"query": {
"match_all": {}
},
"size": 100
}
将size值设置为100，而我们只添加了13天记录，所以成功返回索引的全量记录。
4、size大于10000GET book/_search
{
"query": {
"match_all": {}
},
"size": 20000
}
返回结果：
{
"error" : {
"root_cause" : [
{
"type" : "illegal_argument_exception",
"reason" : "Result window is too large, from + size must be less than or equal to: [10000] but was [20000]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level setting."
}
],
异常说明：
1、查询结果的窗口太大，from + size的结果必须小于或等于10000，而当前查询结果的窗口为20000。
2、可以采用scroll api更高效的请求大量数据集。
3、查询结果的窗口的限制可以通过参数index.max_result_window进行设置。
The maximum value of from + size for searches to this index. Defaults to 10000. Search requests take heap memory and time proportional to from + size and this limits that memory. See Scroll or Search After for a more efficient alternative to raising this.
说明：
参数index.max_result_window主要用来限制单次查询满足查询条件的结果窗口的大小，窗口大小由from + size共同决定。不能简单理解成查询返回给调用方的数据量。
这样做主要是为了限制内存的消耗。
请求大数据集推荐采用Scroll or Search After 。
比如：from为1000000，size为10，逻辑意义是从满足条件的数据中取1000000到（1000000 + 10）的记录。这时ES一定要先将（1000000 + 10）的记录（即result_window）加载到内存中，再进行分页取值的操作。
尽管最后我们只取了10条数据返回给客户端，但ES进程执行查询操作的过程中确需要将（1000000 + 10）的记录都加载到内存中，可想而知对内存的消耗有多大。
这也是ES中不推荐采用（from + size）方式进行深度分页的原因。
同理，from为0，size为1000000时，ES进程执行查询操作的过程中确需要将1000000 条记录都加载到内存中再返回给调用方，也会对ES内存造成很大压力。
1.参数设置PUT book/_settings
{
"index.max_result_window" :"5"
}
注意：
1、此方法是设置单索引，如果需要更改索引需要将book换成_all
2、即使换成_all，对于新增的索引，还是默认的10000
查看所有索引中的index.max_result_window值：
GET _all/_settings/index.max_result_window
查看book索引的_settings配置：
GET book/_settings
查看_settings配置中的参数index.max_result_window的值：
GET book/_settings/index.max_result_windowScroll api实践
改动index.max_result_window参数值的大小，只能解决一时的问题，当索引的数据量持续增长时，在查询全量数据时还是会出现问题。而且会增加ES服务器内存大结果集消耗完的风险。
最佳实践还是根据异常提示中的采用scroll api更高效的请求大量数据集。
1、查询命令中新增scroll=1m,说明采用游标查询，保持游标查询窗口一分钟。
2、这里由于测试数据量不够，所以size值设置为2。实际使用中为了减少游标查询的次数，可以将值适当增大，比如设置为1000。
GET /book/_search?scroll=1m
{
"query": { "match_all": {}},
"size": 2
}
查询结果：
除了返回前2条记录，还返回了一个游标ID值_scroll_id。
{
"_scroll_id" : "FGluY2x1ZGVfY29udGV4dF91dWlkDXF1ZXJ5QW5kRmV0Y2gBFm1ab2pDVEpiVGh5ZWthYnRQanB5YlEAAAAAABRP-xZHYWJiZzJGNFJYQ1RPS0dZb1VwejRR",
"took" : 0,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
……
}
采用游标id查询：
GET /_search/scroll
{
"scroll": "1m",
"scroll_id" : "FGluY2x1ZGVfY29udGV4dF91dWlkDXF1ZXJ5QW5kRmV0Y2gBFm1ab2pDVEpiVGh5ZWthYnRQanB5YlEAAAAAABRP5BZHYWJiZzJGNFJYQ1RPS0dZb1VwejRR"
}
说明：
多次根据scroll_id游标查询，直到没有数据返回则结果查询。。
采用游标查询索引全量数据，更安全高效，限制了单次对内存的消耗。
publicList searchAllData(SearchRequest searchRequest, Class clazz) { List tList = new ArrayList<>(); final Scroll scroll = new Scroll(Timevalue.timevalueMinutes(1L)); searchRequest.scroll(scroll); try{ SearchResponse searchResponse = highLevelClient.search(searchRequest); String scrollId = searchResponse.getScrollId(); log.info("ES查询DSL语句:nGET {}n{}", String.format("/%s/_search", searchRequest.indices()[0]), searchRequest.source()); //打印命中数量 log.info("命中总数量：{}", searchResponse.getHits().getTotalHits()); SearchHit[] searchHits = searchResponse.getHits().getHits(); while (searchHits != null && searchHits.length > 0) { SearchHits hits = searchResponse.getHits(); List resultList = Arrays.stream(hits.getHits()).map(e -> { String jsonStr = e.getSourceAsString(); return JSON.parseObject(jsonStr, clazz); }).collect(Collectors.toList()); if(!CollectionUtils.isEmpty(resultList)){ tList.addAll(resultList); } SearchScrollRequest scrollRequest = new SearchScrollRequest(scrollId); scrollRequest.scroll(scroll); searchResponse = highLevelClient.searchScroll(scrollRequest); searchHits = searchResponse.getHits().getHits(); } ClearScrollRequest clearScrollRequest = new ClearScrollRequest(); clearScrollRequest.addScrollId(scrollId); ClearScrollResponse clearScrollResponse = highLevelClient.clearScroll(clearScrollRequest); boolean succeeded = clearScrollResponse.isSucceeded(); }catch (Exception e){ log.error("执行EsService的searchAllData方法出现异常", e); } return tList; }
注意：
1、尽管通过采用Scroll API提高的查询全量数据的性能，减少了ES服务器的内存消耗。但是当返回结果集过大的时候，也会出现将调用方应用的内存撑爆的风险。
2、推荐的做法是：在调用searchAllData方法查询索引全量数据时，在方法内部添加返回记录条数的限制。避免出现返回几百万、甚至上千万的结果集，导致调用方程序由于内存吃完而宕机。
总结
1、本文主要介绍了如何通过Scroll API查询索引的全量数据。
2、介绍了index.max_result_window参数和相关配置方法。
3、尽管通过采用Scroll API查询索引全量数据提高了查询效率并减少了ES服务器的内存消耗。当同时要注意不要返回太大的结果集撑爆调用方应用的内存。
4、针对ES大结果集的查询，要同时考虑ES服务提供方和请求调用方的内存消耗。
