800GB一次发送就足够了，ES必须将所有内容都放入内存中才能进行处理，因此对于您拥有的内存量来说可能太大了。
解决此问题的一种方法是将您的文件拆分为多个文件，然后依次发送。您可以使用如下所示的小型Shell脚本来实现。
#!/bin/sh# split the main file into files containing 10,000 lines maxsplit -l 10000 -a 10 carrier.json /tmp/carrier_bulk# send each split fileBULK_FILES=/tmp/carrier_bulk*for f in $BULK_FILES; do curl -s -XPOST http://localhost:9200/_bulk --data-binary @$fdone
更新
如果您想解释ES响应，则可以通过将响应管道传递到一个像这样的小型python一线容器来轻松实现：
curl -s -XPOST $ES_HOST/_bulk --data-binary @$f | python -c 'import json,sys;obj=json.load(sys.stdin);print " <- Took %s ms with errors: %s" % (obj["took"], obj["errors"])';
