栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

Elasticsearch文档的最大大小是多少?

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Elasticsearch文档的最大大小是多少?

Lucene内部使用一个字节缓冲区,该缓冲区使用32位整数进行寻址。根据定义,这限制了文档的大小。因此,理论上最大2GB。

在ElasticSearch中:

max http request size
ES
GitHub代码中有一个,并将其设置为
Integer.MAX_VALUE
2^31-1
。因此,基本上,
2GB是通过HTTP进行批量索引的最大文档大小 。此外,ES不会处理HTTP请求,直到它完成为止。

良好做法:

  • 如果可以帮助,请不要使用非常大的Java堆:仅将其设置为必要的大小(最好不超过机器RAM的一半),以容纳使用Elasticsearch时总的最大工作集大小。这就为操作系统留下了剩余的(希望是相当大的)RAM来管理IO缓存。
  • 在客户端,请始终使用批量api,该api在一个请求中为多个文档建立索引,并尝试使用正确数量的文档与每个批量请求一起发送。最佳尺寸取决于许多因素,但是请尽量避免文件太少而不是太多。将并发批量请求与客户端线程一起使用,或将异步请求单独使用。

要进一步研究,请参考以下链接:

  1. Elasticsearch索引的性能注意事项

  2. 通过HTTP进行批量索引的文档最大大小



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/365617.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号