Zookeeper_大数据系统

Zookeeper安装Linux单机版Zookeepe安装Linux集群版Zookeeper客户端命令行操作

znode节点数据信息节点类型

获取节点的值创建默认节点（永久节点+不带序号）创建带序号的节点（永久节点+带序号）创建短暂节点（短暂节点+不带序号）创建短暂节点（短暂节点+带序号）修改节点数据值监听节点值变化

监听节点数据修改节点数据节点删除与查看

删除节点递归删除接地点查看节点状态 Zookeeper客户端API操作

引入依赖创建ZooKeeper客户端创建子节点获取子节点并监听节点变化判断Znode是否存在

Zookeeper安装Linux单机版

官网下载地址：https://archive.apache.org/dist/zookeeper/

安装Zookeeper需要提前安装JDK

解压安装包

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/

修改配置文件

配置zookeeper/conf路径下的zoo.cfg，修改zoo_sample.cfg->zoo.cfg

创建dataDir文件夹，在zoo.cfg配置dataDir路径

tickTime = 2000：通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒initLimit = 10：LF初始通信时限，Leader和Follower初始连接时能容忍的最多心跳数（tickTime的数量）syncLimit = 5：LF同步通信时限，Leader和Follower之间通信时间如果超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除FollwerdataDir：保存Zookeeper中的数据，默认是tmp目录，容易被Linux系统定期删除，所以一般不用默认的tmp目录clientPort = 2181：客户端连接端口，通常不做修改。

操作zookeeper

启动zookeeper

bin/zkServer.sh start

查看进程是否启动

jps -l

查看状态

bin/zkServer.sh status

启动客户端

bin/zkCli.sh

停止zookeeper

bin/zkServer.sh stop

Zookeepe安装Linux集群版

官网下载地址：https://archive.apache.org/dist/zookeeper/

安装Zookeeper需要提前安装JDK

解压安装包

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/

配置服务器编号

在zoo.cfg的dataDir指定的目录中配置myid文件，上下不要有空行，左右不要有空格，在集群机器中分别配置，myid必须全局唯一

vim myid
# 添加与 server 对应的编号
2

配置zoo.cfg文件

在zoo.cfg配置文件中添加如下配置，并在集群机器中分别配置

server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888

配置参数模板server.A=B:C:D

A 是一个数字，表示这个是第几号服务器。集群模式下配置一个文件 myid，这个文件在 dataDir 目录下，这个文件里面有一个数据就是 A 的值，Zookeeper 启动时读取此文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是哪个 server

B 是这个服务器的地址

C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口

D 是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口

集群操作

分别启动zookeeper

bin/zkServer.sh star

查看状态

bin/zkServer.sh status

ZK集群启动停止脚本

在家目录的bin文件夹下创建脚本

#!/bin/bash
case $1 in
"start"){
for i in hadoop102 hadoop103 hadoop104
do
 echo ---------- zookeeper $i 启动 ------------
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
done
};;
"stop"){
for i in hadoop102 hadoop103 hadoop104
do
 echo ---------- zookeeper $i 停止 ------------ 
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
done
};;
"status"){
for i in hadoop102 hadoop103 hadoop104
do
 echo ---------- zookeeper $i 状态 ------------ 
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
done
};;
esac

增加脚本执行权限

chmod u+x zk.sh

Zookeeper客户端命令行操作

命令行语法

命令基本语法	功能描述
help	显示所有操作命令
ls path	-w 监听子节点变化 -s 附加次级信息
create	-s 含有序序列 -e 临时（重启或者超时消失）
get path	-w 监听节点内容变化 -s 附加次级信息
set	设置节点的具体值
stat	查看节点状态
delete	删除节点
deleteall	递归删除节点

znode节点数据信息

查看当前znode中所包含的内容

ls /

查看当前节点详细数据

ls -s /

czxid：创建节点的事务zxid，每次修改ZooKeeper状态都会产生一个ZooKeeper事务ID。事务ID是ZooKeeper中所有修改总的次序。每次修改都有唯一的czxid，如果czxid1小于czxid2，那么czxid1在czxid2之前发生

ctime：znode被创建的毫秒数

mzxid：znode最后更新的事务zxid

mtime：znode最后修改的毫秒数

pZxid：znode最后更新的子节点zxid

cversion：znode子节点变化号，znode子节点修改次数

dataversion：znode数据变化号

aclVersion：znode访问控制列表的变化号

ephemeralOwner：如果是临时节点，这个是znode拥有者的session id。如果不是临时节点则是0

dataLength：znode的数据长度

numChildren：znode子节点数量

节点类型

持久：客户端和服务器端断开连接后，创建的节点不删除

短暂：客户端和服务器端断开连接后，创建的节点自己删除

创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器由父节点维护，在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序

获取节点的值

get -s /sanguo

创建默认节点（永久节点+不带序号）

create /sanguo "diaochan"
create /sanguo/shuguo "liubei"

创建带序号的节点（永久节点+带序号）

create -s /sanguo/weiguo/zhangliao "zhangliao"
create -s /sanguo/weiguo/zhangliao "zhangliao"
create -s /sanguo/weiguo/zhangliao "zhangliao"

如果原来没有序号节点，序号从 0 开始依次递增。如果原节点下已有 2 个节点，则再排序时从2开始，以此类推

创建短暂节点（短暂节点+不带序号）

create -e /sanguo/wuguo "zhouyu"

创建短暂节点（短暂节点+带序号）

create -e -s /sanguo/wuguo "zhouyu"

修改节点数据值

set /sanguo/weiguo "simayi"

监听节点值变化监听节点数据

get -w /sanguo

修改节点数据

set /sanguo "xisi"

多次修改监听节点数据，注册一次只能监听一次，想再次监听需要再次注册

节点删除与查看删除节点

delete /sanguo/jin

递归删除接地点

deleteall /sanguo/shuguo

查看节点状态

stat /sanguo

Zookeeper客户端API操作引入依赖


    
        org.apache.zookeeper
        zookeeper
        3.5.7

创建ZooKeeper客户端

public class zkClient {

    // 注意：逗号左右不能有空格
    private String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
    private int sessionTimeout = 2000;
    private ZooKeeper zkClient;

    @Before
    public void init() throws IOException {

        zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
            @Override
            public void process(WatchedEvent watchedEvent) {

                System.out.println("-------------------------------");
                List children = null;
                try {
                    children = zkClient.getChildren("/", true);

                    for (String child : children) {
                        System.out.println(child);
                    }

                    System.out.println("-------------------------------");
                } catch (KeeperException e) {
                    e.printStackTrace();
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
        });
    }
}

创建子节点

@Test
public void create() throws KeeperException, InterruptedException {
    // 参数1：要创建的节点的路径； 参数2：节点数据 ； 参数3：节点权限 ；参数4：节点的类型
    String nodeCreated = zkClient.create("/czs", "czshh".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
}

获取子节点并监听节点变化

@Test
public void getChildren() throws KeeperException, InterruptedException {
    List children = zkClient.getChildren("/", true);

    for (String child : children) {
        System.out.println(child);
    }

    // 延时
    Thread.sleep(Long.MAX_VALUE);
}

判断Znode是否存在

@Test
public void exist() throws KeeperException, InterruptedException {

    Stat stat = zkClient.exists("/czs", false);

    System.out.println(stat==null? "not exist " : "exist");
}

Zookeeper

大数据系统相关栏目本月热门文章