首先,整理笔记之前,特此感谢一下Zookeeper的官方文档,因为里面好多内容都是和官方文档离不开的。
PART1:Zookeeper概念篇
- Zookeeper是Apache Hadoop项目下的一个子项目,是一个树形目录服务,数据模型和Unix的文件系统目录树很类似,拥有一个层次化结构。
- Zookeeper 是一个开源的,是用于维护配置信息,命名,提供分布式同步和提供组服务的集中式服务。
- 但是Unix的目录下是不能直接存数据的,数据必须要写在文件中,然后目录结构中存文件;而Zookeeper中是可以直接存数据的
- Zookeeper 是一个开源的,是用于维护配置信息,命名,提供分布式同步和提供组服务的集中式服务。
- Zookeeper数据模型:树形结构中的每一个节点都被称为ZNode,每个节点上都会保存自己的数据和节点信息
- Zookeeper 的数据结构:
- ZooKeeper 提供的名称空间与标准文件系统的名称空间非常相似。名称是由斜杠(“ /”)分隔的一系列路径元素。ZooKeeper 命名空间中的每个 znode 均由路径标识。每个 znode 都有一个父对象,其路径是 znode 的前缀,元素少一个;此规则的例外是 root(“ /”),它没有父项。此外,与标准文件系统完全一样,如果 znode 有子节点,则无法删除它。
- ZooKeeper 与标准文件系统之间的主要区别在于,每个 znode 都可以具有与之关联的数据(每个文件也可以是目录,反之亦然),并且 znode 限于它们可以拥有的数据量。ZooKeeper 旨在存储协调数据:状态信息,配置,位置信息等。这种元信息通常以千字节(如果不是字节)来度量。ZooKeeper 具有1M的内置完整性检查,以防止将其用作大型数据存储,但是通常,它用于存储小得多的数据。
- 节点可以拥有子节点,同时也允许少量(1MB)数据存储在该节点之下。
- Znode里面都存储了什么:
- Znode包含了存储数据(data)、访问权限(acl)、子节点引用(child)、节点状态信息(stat)
- Znode节点可以分为三大类(Znode的三种类型,但是Znode有四种表现形式):
- PERSISTENT持久化节点
- 持久节点(persistent node)节点会被持久。持久节点:如 create /test/a “hello”,通过 create参数指定为持久节点
- data: znode存储的业务数据信息
- acl: 记录客户端对znode节点的访问权限,如IP等。
- child: 当前节点的子节点引用
- stat: 包含Znode节点的状态信息,比如事务id、版本号、时间戳等等。
- 持久节点(persistent node)节点会被持久。持久节点:如 create /test/a “hello”,通过 create参数指定为持久节点
- EPHEMERAL:临时节点:-e
- 临时节点(ephemeral node),客户端断开连接后,ZooKeeper 会自动删除临时节点。临时节点:通过 create -e参数指定为顺序节点
- 顺序节点(sequential node),每次创建顺序节点时,ZooKeeper 都会在路径后面自动添加上10位的数字,从1开始,最大是2147483647 (2^32-1)
- PERSISTENT_SEQUENTIAL:持久化顺序节点:-s。持久顺序节点:通过 create -s参数指定为顺序节点
- EPHEMERAL_SEQUENTIAL临时顺序节点:-es。临时顺序节点:通过 create -s -e参数指定为临时及顺序节点
- PERSISTENT持久化节点
- Zookeeper 的数据结构:
- Zookeeper有哪些特性呢?
- Zookeeper提供的主要功能包括:(可以基于 Zookeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。)
- 配置管理
- 分布式锁:原来为了防止并发访问产生的线程安全问题,可以用synchronized或者lock单独加锁,但是在分布式中你A服务加的锁对B服务肯定是没作用的(有可能就没在一个电脑上,怎么可能有作用?),所以搞个分布式锁
- 分布式锁实现:资源在谁那,分布式锁就加到哪里(别加到代理中介那里去了)
- 在我们进行单机应用开发,涉及并发同步的时候,我们往往采用synchronized或者Lock的方式来解决多线程间的代码同步问题,这时多线程的运行都是在同一个JVM之下, 没有任何问题。但当我们的应用是分布式集群工作的情况下,属于多JVM下的工作环境,跨JVM之间已经无法通过多线程的锁解决同步问题。那么就需要一种更加高级的锁机制, 处理种跨机器的进程之间的数据同步问题 一这就是分布式锁。
- 在我们进行单机应用开发,涉及并发同步的时候,我们往往采用synchronized或者Lock的方式来解决多线程间的代码同步问题,这时多线程的运行都是在同一个JVM之下, 没有任何问题。但当我们的应用是分布式集群工作的情况下,属于多JVM下的工作环境,跨JVM之间已经无法通过多线程的锁解决同步问题。那么就需要一种更加高级的锁机制, 处理种跨机器的进程之间的数据同步问题 一这就是分布式锁。
- Zookeeper分布式锁原理:核心思想是当客户端要获取锁,则创建节点,使用完锁,则删除该节点。
- 1.客户端获取锁时,在lock节点下创建临时顺序节点。
- (创建一个临时的,以保证可以删除啊,你搞成持久化节点,万一获取锁那个节点万一宕机了,这个节点就没办法删除了,只有删除了才能保证这个锁被释放。搞成临时的哪怕宕机了他也会自动删除)
- 顺序的,是因为要找到序号最小的节点呀,所以得排个顺序呀
- 2.然后获取lock 下面的所有子节点,客户端获取到所有的子节点之后,如果发现自己创建的子节点序号最小(找到序号最小的那个就是锁),那么就认为该客户端获取到了锁。使用完锁后,将该节点删除。
- 3.如果发现自己创建的节点并非lock所有子节点中最小的,说明自己还没有获取到锁,此时客户端需要找到比自己小的那个节点,同时对其注册事件监听器,监听删除事件。
- 4.如果发现比自己小的那个节点被删除,则客户端的Watcher会收到相应通知,此时再次判断自己创建的节点是否是lock子节点中序号最小的,如果是则获取到了锁,如果不是则重复以上步骤继续获取到此自己小的一个节点并注册监听。
- 5.用完锁之后就删除
- 1.客户端获取锁时,在lock节点下创建临时顺序节点。
- 分布式锁实现:资源在谁那,分布式锁就加到哪里(别加到代理中介那里去了)
- 集群管理
- Zookeeper集群:
- Zookeeper的系统架构:
- ZooKeeper 分为服务器端(Server) 和客户端(Client),客户端可以连接到整个 ZooKeeper 服务的任意服务器上(除非 leaderServes 参数被显式设置,leader 不允许接受客户端连接),客户端使用并维护一个 TCP 连接,通过这个连接发送请求、接受响应、获取观察的事件以及发送信息。
- 组成 ZooKeeper 服务的服务器必须彼此了解。它们维护一个内存中的状态图像,以及持久存储中的事务日志和快照,只要大多数服务器可用,ZooKeeper 服务就可用;
- Zookeeper 建议集群节点个数为奇数,只要超过一半的机器能够正常提供服务,那么整个集群都是可用的状态。
- 在ZooKeeper集群中服务(Server)有三个角色:Leader、Follower 和 Observer(将 server 分为三种是为了避免太多的从节点参与过半写的过程,导致影响性能,这样 Zookeeper 只要使用一个几台机器的小集群就可以实现高性能了,如果要横向扩展的话,只需要增加 Observer 节点即可。)
- Leader领导者:负责投投票的发起与决议,更新系统状态,写数据
- 1.处理事务请求
- 2.集群内部各服务器的调度者
- Follower跟随者:用于接收客户端请求并用来返回结果,在选主过程中参与投票
- 1.处理客户端非事务请求,转发事务请求给Leader服务器
- 2.参与eader选举投票
- Observer观察者:以接受客户端连接,将写请求转发给leader节点,但是不参与投票过程,只同步leader状态,主要存在目的就是为了提高读取效率
- 1.处理客户端非事务请求,转发事务请求给Leader服务器
- Leader领导者:负责投投票的发起与决议,更新系统状态,写数据
- Leader选举:在Leader选举的过程中,如果某台ZooKeeper获得了超过半数的选票,则此ZooKeeper就可以成为Leader了。(ZooKeeper 启动时,将从实例中选举一个 leader,Leader 负责处理数据更新等操作,一个更新操作成功的标志是当且仅当大多数 Server 在内存中成功修改数据。每个 Server 在内存中存储了一份数据。)
- Serverid:服务器ID比如有三台服务器,编号分别是1,2,3.编号越大在选择算法中的权重越大。
- Zxid:数据ID,服务器中存放的最大数据ID.值越大说明数据越新。在选举算法中数据越新权重越大。
- Zookeeper 如何识别请求的先后顺序?
- Zookeeper 如何识别请求的先后顺序?
- Zookeeper初始化是如何进行Leader选举的:
- 在集群初始化阶段,只有两台以以上的 ZK 启动才会发生leader选举,过程如下:
- (1) 每个 Server 发出一个投票。初始选举 ZK1 和 ZK2 都会将自己作为 Leader 服务器来进行投票,每次投票会包含所推举的服务器的(myid, ZXID),此时 ZK1 的投票为(1, 0),ZK2 的投票为(2, 0),然后各自将这个投票发给集群中其他机器。
- (2) 收到投票。集群的每个服务器收到投票后,首先判断该投票的有效性,如检查是否是本轮投票、是否来自 LOOKING 状态的服务器。
- (3) 处理投票。每个发起投票的服务器需要将别人的投票和自己的投票进行比较,规则如下:
- 优先检查 ZXID。ZXID 比较大的服务器优先作为 Leader。
- 如果 ZXID 相同,那么就比较 myid。myid 较大的服务器作为Leader服务器。
- (4) 统计投票。每次投票后,服务器都会统计投票信息,判断是否已经有过半机器接受到相同的投票信息,对于 ZK1、ZK2 而言,都统计出集群中已经有两台机器接受了(2, 0)的投票信息,此时便认为已经选出 ZK2 作为Leader。
- (5) 改变服务器状态。一旦确定了 Leader,每个服务器就会更新自己的状态,如果是Follower,那么就变更为 FOLLOWING,如果是 Leader,就变更为 LEADING。当新的 Zookeeper 节点 ZK3 启动时,发现已经有 Leader 了,不再选举,直接将直接的状态从 LOOKING 改为 FOLLOWING。
- 在集群初始化阶段,只有两台以以上的 ZK 启动才会发生leader选举,过程如下:
- 选举 leader 后是怎么进行数据同步的:(proposal : 其实就是将请求中的一些信息如请求头,请求体以及 ZXID 等信息封装到 proposal对象当中)
- 四种同步方式:
- 差异化同步:触发条件:minZXID < lastSyncZXID < maxZXID
- 1).leader 向 Observer 和 follower 发送 DIFF 指令,之后就开始差异化同步
- 2).然后把差异数据 提议 proposal 发送给 Observer 和 follower , Observer 和 follower 返回ACK表示已经完成了同步
- 3).只要集群中过半的 Observer 和 follower 响应了 ACK 就发送一个 UPTODATE 命令
- 4).leader 返回 ACK,同步流程结束
- 回滚同步:触发条件 maxZXID < lastSyncZXID
- 直接回滚到 maxZXID
- 举个例子:a,b,c三台服务服务器 a是leader,此时队列里面最大的 ZXID 为100,a 收到请求,该 ZXID 为101,还没来得及发送同步数据 a 就挂了,b 变为leader,然后 a 恢复了,此时就需要 a 先将之前 ZXID 为101的数据回滚
- 回滚+差异化同步:触发条件:如果Leader刚生成一个proposal,还没有来得及发送出去,此时Leader宕机,重新选举之后作为Follower,但是新的Leader没有这个proposal数据
- 1).Observer 和 follower 将数据回滚
- 2).进行差异化同步
- 举个例子:a,b,c三台服务服务器 a是leader,此时队列里面最大的 ZXID 为100,a 收到请求,该 ZXID 为101,还没来得及发送同步数据 a 就挂了,b 变为leader,b 又处理了3个请求,则 b 队列中最大的 ZXID 为103,然后 a 恢复了,此时就需要 a 先将之前 ZXID 为101的数据回滚,再进行同步
- 全量同步:同步过程:leader 向 Observer 和 follower 发送SNAP命令,进行数据全量同步
- 1).lastSyncZXID < minZXID
- 2).Leader服务器上没有缓存队列,并且lastSyncZXID!=maxZXID
- 差异化同步:触发条件:minZXID < lastSyncZXID < maxZXID
- 四种同步方式:
- 集群搭建:
- 真实的集群,以IP区分
- 伪集群,以端口区分
- ZooKeeper 分为服务器端(Server) 和客户端(Client),客户端可以连接到整个 ZooKeeper 服务的任意服务器上(除非 leaderServes 参数被显式设置,leader 不允许接受客户端连接),客户端使用并维护一个 TCP 连接,通过这个连接发送请求、接受响应、获取观察的事件以及发送信息。
- Zookeeper的系统架构:
- 配置管理
- ZAB协议:Zookeeper 的数据一致性是依靠ZAB协议完成的
- Zookeeper 会有数据不一致的情况发生吗?
- 还是会有的,因为 Zookeeper 采用的是过半写机制,意味着3台服务器只要有两台写成功就代表整个集群写成功,如果刚好有请求打在这台还未写的服务器上就查询不到该数据,就会有数据不一致的情况产生。
- ZAB(ZooKeeper Atomic Broadcast 原子广播) 协议是为 ZooKeeper 特殊设计的一种支持崩溃恢复的原子广播协议。在 ZooKeeper 中,主要依赖 ZAB 协议来实现分布式数据一致性,基于该协议,ZooKeeper 实现了一种主备模式的系统架构来保持集群中各个副本之间的数据一致性。
- ZAB 协议包括有两种模式,分别是 崩溃恢复和消息广播。
- 崩溃恢复:当整个服务框架在启动过程中,或是当 Leader 服务器出现网络中断、崩溃退出与重启等异常情况时,ZAB 协议就会进人恢复模式并选举产生新的 Leader 服务器。当选举产生了新的 Leader 服务器,同时集群中已经有过半的机器与该 Leader 服务器完成了状态同步之后,ZAB 协议就会退出恢复模式。剩下未同步完成的机器会继续同步,直到同步完成并加入集群后该节点的服务才可用
- 如果Leader挂了,进入崩溃恢复,怎么选举Leader?
- 1.变更状态。Leader 挂后,余下的非 Observer 服务器都会讲自己的服务器状态变更为 LOOKING,然后开始进入 Leader 选举过程。
- 2.每个非 Observer 的 Server 会发出一个投票。和启动过程一致。
- 3.接收来自各个服务器的投票。与启动时过程相同。
- 4.处理投票。与启动时过程相同。
- 5.统计投票。与启动时过程相同。
- 6.改变服务器的状态。与启动时过程相同。
- 如果Leader挂了,进入崩溃恢复,怎么选举Leader?
- 消息广播:当集群中已经有过半的 Follower 服务器完成了和 Leader 服务器的状态同步,那么整个服务框架就可以进人消息广播模式了。当一台同样遵守 ZAB 协议的服务器启动后加人到集群中时,如果此时集群中已经存在一个 Leader 服务器在负责进行消息广播,那么新加人的服务器就会自觉地进人数据恢复模式:找到 Leader 所在的服务器,并与其进行数据同步,然后一起参与到消息广播流程中去。ZooKeeper 设计成只允许唯一的一个 Leader 服务器来进行事务请求的处理。Leader 服务器在接收到客户端的事务请求后,会生成对应的事务提案并发起一轮广播协议;而如果集群中的其他机器接收到客户端的事务请求,那么这些非 Leader 服务器会首先将这个事务请求转发给 Leader 服务器。
- 崩溃恢复:当整个服务框架在启动过程中,或是当 Leader 服务器出现网络中断、崩溃退出与重启等异常情况时,ZAB 协议就会进人恢复模式并选举产生新的 Leader 服务器。当选举产生了新的 Leader 服务器,同时集群中已经有过半的机器与该 Leader 服务器完成了状态同步之后,ZAB 协议就会退出恢复模式。剩下未同步完成的机器会继续同步,直到同步完成并加入集群后该节点的服务才可用
- Zookeeper 会有数据不一致的情况发生吗?
PART2:Zookeeper实践篇
- Zookeeper命令操作:
- 服务端常用命令:
- 启动ZooKeeper服务: ./zkServer.sh start
- 查看ZooKeeper服务状态: ./zkServer.sh status
- 停止ZooKeeper服务: ./zkServer.sh stop
- 重启ZooKeeper服务: ./zkServer.sh restart
- 客户端常用命令:
- 服务端常用命令:
//通过运行get命令验证数据是否与znode关联 [zkshell: 12] get /zk_test my_data cZxid = 5 //节点被创建的事务ID ctime = Fri Jun 05 13:57:06 PDT 2009 //创建时间 mZxid = 5 //最后一次被更新的事务ID mtime = Fri Jun 05 13:57:06 PDT 2009 //修改时间 pZxid = 5 //子节点列表最后一次被更新的事务ID cversion = 0 //子节点的版本号 dataVersion = 0 //数据版本号 aclVersion = 0 //权限版本号 ephemeralOwner = 0 //用于临时节点,代表临时节点的事务ID,如果为持久节点则为0 dataLength = 7 //节点存储的数据的长度 numChildren = 0 //当前节点的子节点个数
- 常见的ZooKeeper Java API :
- 原生Java API
- ZkClient
- Curator:Curator是Apache Zookeeper的Java客户端库,Curator项目的目标是简化Zookeeper客户端的使用
- Curator API常用操作:
- 建立连接(虽然复杂,但是写一次就行了)
//1.第一种方式 CuratorFrameworkFactory.newClient(); //2.第二种方式 CuratorFrameworkFactory.builder();
- 添加节点:
- //基本创建,如果创建节点没有指定数据,则默认将当前客户端的ip作为数据存储:String path = client.create(). forPath(“/app1”);
- //创建节点带有数据,如果创建节点,没有指定数据,则默认将当前客户端的ip作为数据存储:String path = client.create(). forPath( path: “/app2” , “hehe” . getBytes());
- //设置节点的类型,默认类型:持久化:String path = client . create() . withMode(CreateMode . EPHEMERAL) . forPath(“/app3”);
- //创建多级节点 /app1/p1,creatingParentsIfNeeded() :如果父节点不存在,则创建父节点:String path = client .create() .creatingParentsIfNeeded() . forPath(“/app4/p1”);
- 删除节点
- // 1.删除单个节点:client . delete(). forPath( “/app1”);
- //2.删除带有子节点的节点:client. delete() . deletingChildrenIfNeeded() . forPath( “/app4”);
- //3.必须成功的删除:client.delete() .guaranteed(). forPath(“/app2”);
- //回调
- 修改节点
- 修改数据:client. setData(). forPath( path:“ /app1" ," itcast ”. getBytes());
- 根据版本号修改:
Stat status = new Stat(); client.getData().storingStatIn(status).forPath("/app1"); int version = status.getVersion();//查询出来的Version client.setData().withVersion(version).forPath( path:"/app1" ,"haha".getBytes());
- 查询节点
- //查询数据: get:byte[] data = client. getData().forPath(“/app1”);
- // 查询子节点:ls:List path = client. getChildren() . forPath(“/”);
- //3.查询节点状态信息: ls -s:Stat status = new Stat();client. getData() .storingStatIn( status) .forPath(“/app1”);
- Watch事件监听:ZooKeeper允许用户在指定节点上注册一些Watcher, 并且在一些特定事件触发的时候, ZooKeeper服务端会将事件通知到感兴趣的客户端上去,该机制是ZooKeeper实现分布式协调服务的重要特性。
- ZooKeeper中引入了Watcher机制来实现了发布/订阅功能能,能够让多个订阅者同时监听某一个对象, 当一个对象自身状态变化时,会通知所有订阅者。
- ZooKeeper原生支持通过注册Watcher来进行事件监听,但是其使用并不是特别方便需要开发人员自己反复注册Watcher,比较繁琐。所以Curator引入了Cache来实现对ZooKeeper服务端事件的监听。
- 四个特性:
- 一次性:一旦一个Watcher触发之后,Zookeeper就会将它从存储中移除,如果还要继续监听这个节点,就需要我们在客户端的监听回调中,再次对节点的监听watch事件设置为True。否则客户端只能接收到一次该节点的变更通知
- 客户端串行:客户端的Watcher回调处理是串行同步的过程,不要因为一个Watcher的逻辑阻塞整个客户端
- 轻量:Wather通知的单位是WatchedEvent,只包含通知状态、事件类型和节点路径,不包含具体的事件内容,具体的时间内容需要客户端主动去重新获取数据
- 异步: Zookeeper服务器发送watcher的通知事件到客户端是异步的,不能期望能够监控到节点每次的变化,Zookeeper只能保证最终的一致性,而无法保证强一致性。
- ZooKeeper提供了三种Watcher:
- NodeCache:只是监听某一个特定的指定的节点(给指定的一个节点注册监听器)
- PathChildrenCache :监控一个ZNode的子节点
- TreeCache:可以监控整个树上的所有节点,类似于PathChildrenCache和NodeCache的组合
- NodeCache:只是监听某一个特定的指定的节点(给指定的一个节点注册监听器)
- ZooKeeper中引入了Watcher机制来实现了发布/订阅功能能,能够让多个订阅者同时监听某一个对象, 当一个对象自身状态变化时,会通知所有订阅者。
- 建立连接(虽然复杂,但是写一次就行了)
- Curator API常用操作:
巨人的肩膀:
moon聊技术
B站黑马视频
Zookeeper官方文档



