栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Redis 大批量数据插入

Redis 大批量数据插入

前言
如果我们此时需要往redis导入大量数据,如果能快速操作??
一行一行的命令加入的话耗费往返时间
使用管道可以节省往返时间,但是会占用很多内存,即使发送大量的命令,也是要分批次的处理才可以;

我们先创建一个redis命令集文件,将所有要设置的命令写在这个文件里,最后统一执行这个文件就可以;

记:
这个redis数据集文件,记得转码;linux请先确保有转码工具,没有的话请brew install unix2dos
转码指令:unix2dos 文件名

例如:我们要生成一个’keyN’->'VALUEN’的大数据集,创建一个redis命令集文件;

set  k1   v1
set  k2   v2
set  k3   v3
.......

redis-cli支持一种新的被称为pipe mode的新模式用于自行大量数据插入工作;

执行命令:

cat  data.txt |redis-cli --pipe
//这个命令就是一个用来读取文件内容,一个用来发送文件到redis执行

如果到导入数据在远程主机上,端口也是自定义的话,
cat data.txt|redis-cli -p 9999 -h 192.168.1.122 --pipe
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/676889.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号