Zookeeper_大数据系统

Zookeeper

Zookeeper 是一个开源的分布式的，为分布式框架提供协调服务的 Apache 项目

文章目录

Zookeeper

Linux配置Zookeeper集群Zookeeper客户端命令行操作

节点类型

获取节点的值创建默认节点（永久节点+不带序号）创建带序号的节点（永久节点+带序号）创建短暂节点（短暂节点+不带序号）创建短暂节点（短暂节点+带序号）修改节点数据值监听节点值变化

监听节点数据修改节点数据节点删除与查看

删除节点递归删除接地点查看节点状态 Zookeeper客户端API操作企业面试真题(面试重点)

选举机制生产集群安装多少zk合适常用命令

Linux配置Zookeeper集群

官网下载地址：https://archive.apache.org/dist/zookeeper/

安装Zookeeper需要提前安装JDK

JDK配置教程

https://blog.csdn.net/qq_47200222/article/details/123547732?spm=1001.2014.3001.5502

使用Xftp把安装压缩包放入虚拟机，然后解压

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/

修改配置文件

配置zookeeper/conf路径下的zoo.cfg，修改zoo_sample.cfg->zoo.cfg

创建dataDir文件夹，在zoo.cfg配置dataDir路径，并创建集群参数

配置参数模板server.A=B:C:D

A 是一个数字，表示这个是第几号服务器。集群模式下配置一个文件 myid，这个文件在 dataDir 目录下，这个文件里面有一个数据就是 A 的值，Zookeeper 启动时读取此文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是哪个 server

B 是这个服务器的地址

C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口

D 是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口

zoo.cfg相关参数详解

tickTime = 2000：通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒initLimit = 10：LF初始通信时限，Leader和Follower初始连接时能容忍的最多心跳数（tickTime的数量）syncLimit = 5：LF同步通信时限，Leader和Follower之间通信时间如果超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除FollwerdataDir：保存Zookeeper中的数据，默认是tmp目录，容易被Linux系统定期删除，所以一般不用默认的tmp目录clientPort = 2181：客户端连接端口，通常不做修改。

配置服务器编号

在zoo.cfg的dataDir指定的目录中配置myid文件，上下不要有空行，左右不要有空格，在集群机器中分别配置，myid必须全局唯一

vim myid
# 添加与 server 对应的编号
2

操作zookeeper

启动

bin/zkServer.sh start

查看进程是否启动

jps -l

查看状态

bin/zkServer.sh status

启动客户端

bin/zkCli.sh

停止zookeeper

bin/zkServer.sh stop

创建集群操作脚本

在家目录的bin文件夹下创建脚本

#!/bin/bash
case $1 in
"start"){
for i in hadoop102 hadoop103 hadoop104
do
 echo ---------- zookeeper $i 启动 ------------
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
done
};;
"stop"){
for i in hadoop102 hadoop103 hadoop104
do
 echo ---------- zookeeper $i 停止 ------------ 
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
done
};;
"status"){
for i in hadoop102 hadoop103 hadoop104
do
echo ---------- zookeeper $i 状态 ------------ 
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
done
};;
esac

增加脚本执行权限

chmod 777 zk.sh

Zookeeper客户端命令行操作

常用命令

命令基本语法	功能描述
help	显示所有操作命令
ls path	-w 监听子节点变化 -s 附加次级信息
create	-s 含有序序列 -e 临时（重启或者超时消失）
get path	-w 监听节点内容变化 -s 附加次级信息
set	设置节点的具体值
stat	查看节点状态
delete	删除节点
deleteall	递归删除节点

查看当前znode中所包含的内容

ls /

查看当前节点详细数据

ls -s /

czxid：创建节点的事务 zxid

每次修改 ZooKeeper 状态都会产生一个 ZooKeeper 事务 ID。事务 ID 是 ZooKeeper 中所有修改总的次序。每次修改都有唯一的 zxid，如果 zxid1 小于 zxid2，那么 zxid1 在 zxid2 之前发生。

ctime：znode 被创建的毫秒数（从 1970 年开始）

mzxid：znode 最后更新的事务 zxid

mtime：znode 最后修改的毫秒数（从 1970 年开始）

pZxid：znode 最后更新的子节点 zxid

cversion：znode 子节点变化号，znode 子节点修改次数

dataversion：znode 数据变化号

aclVersion：znode 访问控制列表的变化号

ephemeralOwner：如果是临时节点，这个是 znode 拥有者的 session id。如果不是临时节点则是 0。

dataLength：znode 的数据长度

numChildren：znode 子节点数量

节点类型

持久：客户端和服务器端断开连接后，创建的节点不删除

持久化目录节点: 客户端与Zookeeper断开连接后，该节点依旧存在持久化顺序编号目录节点: 客户端与Zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称依旧顺序编号

短暂：客户端和服务器端断开连接后，创建的节点自己删除

临时目录节点: 客户端与Zookeeper断开连接后，该节点被删除临时顺序编号目录节点: 客户端与 Zookeeper 断开连接后，该节点被删除，只是Zookeeper给该节点名称依旧顺序编号

创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器由父节点维护，在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序

获取节点的值

get -s /sanguo

创建默认节点（永久节点+不带序号）

create /sanguo "diaochan"
create /sanguo/shuguo "liubei"

创建带序号的节点（永久节点+带序号）

create -s /sanguo/weiguo/zhangliao "zhangliao"
create -s /sanguo/weiguo/zhangliao "zhangliao"
create -s /sanguo/weiguo/zhangliao "zhangliao"

如果原来没有序号节点，序号从 0 开始依次递增。如果原节点下已有 2 个节点，则再排序时从2开始，以此类推

创建短暂节点（短暂节点+不带序号）

create -e /sanguo/wuguo "zhouyu"

创建短暂节点（短暂节点+带序号）

create -e -s /sanguo/wuguo "zhouyu"

修改节点数据值

set /sanguo/weiguo "simayi"

监听节点值变化

监听节点数据

get -w /sanguo

修改节点数据

set /sanguo "xisi"

多次修改监听节点数据，注册一次只能监听一次，想再次监听需要再次注册

节点删除与查看

删除节点

delete /sanguo/jin
1

递归删除接地点

deleteall /sanguo/shuguo
1

查看节点状态

stat /sanguo

Zookeeper客户端API操作

前提：保证 hadoop102、hadoop103、hadoop104 服务器上 Zookeeper 集群服务端启动。

引入依赖


    
        org.apache.zookeeper
        zookeeper
        3.5.7

创建ZooKeeper客户端

public class zkClient {

    //注意：逗号左右不能有空格
    private String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
    private int sessionTimeout = 2000;

    private ZooKeeper zkClient;

    @Before
    public void init() throws IOException {

        zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
            @Override
            public void process(WatchedEvent watchedEvent) {

            }
        });
    }
}

创建子节点

@Test
    public void creat() throws InterruptedException, KeeperException {
        String nodeCreat = zkClient.create("/jtl", "zs.avi".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
    }

获取子节点并监听节点变化

@Test
    public void getChildren() throws InterruptedException, KeeperException {
        List children = zkClient.getChildren("/", true);
        for (String child : children) {
            System.out.println(child);
        }
        //延时
        Thread.sleep(Long.MAX_VALUE);
    }

判断Znode是否存在

@Test
    public void exist() throws InterruptedException, KeeperException {
        Stat stat = zkClient.exists("/jtl", false);
        System.out.println(stat == null ? "not exist" : "exist");
    }

企业面试真题(面试重点)

选举机制

半数机制,超过半数的投票通过,即通过

第一次启动选举规则:

投票过半数时,服务器id大的胜

第二次启动选举规则:

EPOCH大的直接胜出EPOCH相同,事务id大的胜出事务id相同,服务器id大的胜出生产集群安装多少zk合适

安装奇数台。

生产经验:

10台服务器: 3台20台服务器：5台100台服务器: 11台200台服务器: 11台

服务器台数多: 好处,提高可靠性;坏处：提高通信延时

常用命令

ls、get、create、delete

Zookeeper

大数据系统相关栏目本月热门文章