栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

ES 数据批量下载

ES 数据批量下载

ES 数据批量下载
# ES IP
IP=xxx
# ES索引名称
ES_NAME=xxx
# 一次下载数据量
ONE_CNT=1000
# 获取ES索引当前数据量
ES_CNT=`curl -XGET "http://${IP}:9210/${ES_NAME}/_count" -d '{}'`
ES_CNT=`echo ${ES_CNT} | cut -d ':' -f2`
ES_CNT=`echo ${ES_CNT} | cut -d ',' -f1`
CNT_N=$[ES_CNT/$ONE_CNT]

# 第一次下载
curl -XGET "http://${ip}:9210/${ES_NAME}/_search?pretty&filter_path=_scroll_id,hits.hits._id&scroll=5m" -d '{"from" : 0 ,"size" : 1000}' > es.json

a=`cat es.json | grep scroll_id`
b=`echo ${a} | cut -d '"' -f4`
echo ${b}
i=0
while (( ${i} <= ${cnt_n} ))
do
sleep 0.5s
echo ‘’ >> es.json
curl -XGET "http://${IP}:9210/_search/scroll?scroll=5m&filter_path=hits._id&scroll_id=${b}" >> es.json

if [ $? -eq 0 ]
then 
echo ${i}
((i++))
else
exit -1;
fi
done
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/663332.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号