现状问题:业务发展过程中遇到的峰值瓶颈
-
redis提供的服务OPS可以达到10万/秒,当前业务OPS已经达到10万/秒
-
内存单机容量达到256G,当前业务需求内存容量1T
-
使用集群的方式可以快速解决上述问题
集群就是使用网络将若干台计算机联通起来,并提供统一的管理方式,使其对外呈现单机的服务效果(多个主从连接在一起)
集群作用:
-
分散单台服务器的访问压力,实现负载均衡
-
分散单台服务器的存储压力,实现可扩展性
-
降低单台服务器宕机带来的业务灾难
4.2 Cluster集群结构设计
数据存储设计:(以前我们单机的时候只需要把key存储进去就可以了,但是现在有一个key,面对集群了的redis服务,这个key该怎么存呢?往哪个机器上存呢?所以我们就需要对数据储存做一个设计)
-
通过算法设计,计算出key应该保存的位置
-
将所有的存储空间计划切割成16384份,每台主机保存一部分
注意:每份代表的是一个存储空间,不是一个key的保存空间
-
将key按照计算出的结果放到对应的存储空间
那redis的集群是如何增强可扩展性的呢?譬如我们要增加一个集群节点
是这样做的:把原有的redis服务中的存储空间各自分出来一些给新的redis服务,通过这种形式就增加了redis服务的扩展性了,那么分的这些东西叫什么呢?叫做槽,也就是上述我们说过的存储空间,一个槽可以存储很多的key,
当我们查找数据时,集群是如何操作的呢?
-
各个数据库相互通信,保存各个库中槽的编号数据
-
一次命中,直接返回
-
一次未命中,告知具体位置
4.3 Cluster集群结构搭建
首先要明确的几个要点:
-
配置服务器(3主3从)
-
建立通信(Meet)
-
分槽(Slot)
-
搭建主从(master-slave)
Cluster配置(也就是我们普通的服务器,它怎么变成我们的cluster集群呢?就是需要加配置)
-
是否启用cluster,加入cluster节点
cluster-enabled yes|no
-
cluster配置文件名,该文件属于自动生成,仅用于快速查找文件并查询文件内容
cluster-config-file filename
-
节点服务响应超时时间,用于判定该节点是否下线或切换为从节点
cluster-node-timeout milliseconds
-
master连接的slave最小数量
cluster-migration-barrier min_slave_number
Cluster节点操作命令
-
查看集群节点信息
cluster nodes
-
更改slave指向新的master
cluster replicate master-id
-
发现一个新节点,新增master
cluster meet ip:port
-
忽略一个没有solt的节点
cluster forget server_id
-
手动故障转移
cluster failover
集群操作命令:
-
创建集群
redis-cli –-cluster create masterhost1:masterport1 masterhost2:masterport2 masterhost3:masterport3 [masterhostn:masterportn …] slavehost1:slaveport1 slavehost2:slaveport2 slavehost3:slaveport3 -–cluster-replicas n
注意:master与slave的数量要匹配,一个master对应n个slave,由最后的参数n决定
master与slave的匹配顺序为第一个master与前n个slave分为一组,形成主从结构
-
添加master到当前集群中,连接时可以指定任意现有节点地址与端口
redis-cli --cluster add-node new-master-host:new-master-port now-host:now-port
-
添加slave
redis-cli --cluster add-node new-slave-host:new-slave-port master-host:master-port --cluster-slave --cluster-master-id masterid
-
删除节点,如果删除的节点是master,必须保障其中没有槽slot
redis-cli --cluster del-node del-slave-host:del-slave-port del-slave-id
-
重新分槽,分槽是从具有槽的master中划分一部分给其他master,过程中不创建新的槽
redis-cli --cluster reshard new-master-host:new-master:port --cluster-from src- master-id1, src-master-id2, src-master-idn --cluster-to target-master-id -- cluster-slots slots
注意:将需要参与分槽的所有masterid不分先后顺序添加到参数中,使用,分隔
指定目标得到的槽的数量,所有的槽将平均从每个来源的master处获取
-
重新分配槽,从具有槽的master中分配指定数量的槽到另一个master中,常用于清空指定master中的槽
redis-cli --cluster reshard src-master-host:src-master-port --cluster-from src- master-id --cluster-to target-master-id --cluster-slots slots --cluster-yes
接下来我们操作一下:
我们先看看我们现在所有的配置文件:
那我们就拿之前做的redis6401的配置文件来看一下,我们cat一下,把里面的配置复制一下:
接着我们重新编辑创建一个新的配置文件:
进去之后,我们首先粘上我们刚才复制的内容,更改下端口号,然后再加上cluster的配置,第一个开启cluster的配置,第二个是配置文件的设定,第三个是超时时间的配置,最后一个不要也行
接着我们要配置6个一样的配置,我们这里跳过,这里给大家看一下,我已经配置好了
有人说,你这个主从关系不需要配置吗?不需要,一会儿启动的时候我们再配,接下来我们就把各个服务启动起来,
这里只演示一个,其他的5个服务都一样启动起来
接下来就是要怎么启动我们这个cluster了:
注意这个1代表:你这里边是1主带1从,那么前3个是主,后3个是从,如果你这里写的是2,就代表1主带2从,前2个是主, 后4个是从,即后面4个中的前2个对前面2个的第1个,后面4个中的后2个对前面2个中的第2个,是这样的结构
在敲回车之前,我们先看下各个服务启动之后的样子,只显示一个ready状态
那么我们现在敲回车,看看信息显示什么首先进行了分槽的操作,然后进行了一个主从的分配,即4分给1,5分给2,6分给3,然后接下来是所有节点的信息状态了,最后一句问你这样的分配方法你觉得OK吗?
那么既然ok的话,我们输入OK,敲回车
那么再回头看下各个服务启动的界面新增了什么信息:
接下来我们分别连接下6501的客户端和6504的客户端,并且在6501里放个数据,查看下是否在6504里可以获取,证明这两个服务是达成了主从的条件:
首先我们set一个name:
我们发现它报错了,为什么报错呢?就是说这个itheima对应的这个key name,计算完以后它所在的槽在5798这个槽,说你必须到6502这个客户端(端口)进行操作,意思不让你操作,那么这样多麻烦啊,有没有办法呢?
有办法的,我们在进行客户端启动的时候,在命令中加一个操作, -c,这就代表是处于cluster模式的客户端启动命令,这样就不存在上述的问题了
这个时候,我们再进行操作刚才的数据操作:
可以看到这里帮你自动跳到相应的端口服务客户端了:
那么我们再去slave1的客户端:
我们这里能不能执行刚才的操作呢?其实是一样的,是可以的,我们直接先get name 发现操作是报错的,
我们用同样的操作,发现是获取到了
有的同学会问了:哎,我们刚才不是为了要演示在集群配置并启动的环境下,查看我们现有的服务是否达成了主从的模式吗?你刚才不是说,启动6501和6504,去看这里的主从是否已经搭建嘛?为啥会和6502产生关系?那么我就要告诉你,回想一下集群的概念,集群是各个节点分别各自储存一部分存储空间的,之前这个name的key是放在了6502服务的5798这个槽里,所以你得去6502里去查看,上述的操作就是让你在任何一台服务上都可以自动的去切换到你想要的数据的服务上,
接下来看一下我们的主从切换能不能实现:
我们在6501的服务里,Ctrl c 把服务停掉,
然后再去查看对应的配置信息,这个我们在之前的哨兵模式就已经讲过了,这里的主从切换是没有问题的,我们也就不再演示了,那么有同学会问:你这里没有启用哨兵的服务啊,这里为什么能做主从切换,这是因为我们的cluster模式自带主从切换,
下面我们看下集群的节点操作:
也就是如何添加slave和master到现在集群当中:我们得再搞两个服务,所以这里我们再新添两个配置文件
现在我们要把这两个服务启动起来,在这里我们就将master1客户端和slave1客户端的机器当做这两个新的服务的机器来使用:
上述我们将新的6508给启动起来了,现在我们看下节点状态,这里登陆6501的客户端,我们就用这个机动客户端来看,我们可以看到,这里节点信息没有6508,因为我们现在还没加进来
那么我们现在就把这个6508加到集群里边来,我们这里在linux客户端机器来操作:
那么现在这个6508已经连上去了,我们来看一下:
那么能删就能减,我们再减掉它:
我们再看一下是否去掉了:发现已经去掉了
接下来我们先启动了6507这个服务:
那么我们看看添加master节点:
我们可以看到,其他的主都是有槽的,我们现在新增的这个master是没有槽的,那么没有槽这个master放这里也没用啊,
所以接下来做的事情就是给这个新增的master分槽了:
执行完了,我们再看下有没有分到槽:
那么怎么把它去掉呢?
首先先去还槽:
那么我们查看一下还了没有:发现还了
那么期间还有一个小问题:就是当我们进行还槽操作的时候,有可能会少分一个或者两个,那么就会导致我们的这个新的master里还有剩余的槽没还回去,所以还要进行还槽操作,所以大家要注意
我们继续进行还槽的操作之后,再查看一下,发现现在这个新增的master上没有槽点了,
那么最后再进行一个删除节点的操作就行了:我们之前做过了,就不再做了



