栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

NIFi 集群环境部署

NIFi 集群环境部署

NIFi 集群环境部署 使用外部zookeeper
  • 前言
  • 一、安装包下载解压
  • 二、修改配置
    • 1.修改nifi.propries
    • 2.修改state-management.xml 文件
  • 三、启动


前言

因为集群环境部署是采用的 外部 Zookeeper ,因此 需要 服务器上先部署好 Zookeeper 的集群环境


一、安装包下载解压

此次安装选用的是 NiFi 1.12.0 版本 大家自行下载https://archive.apache.org/dist/nifi/

# 解压 先选一台服务器进行操作
tar -zxvf nifi-1.12.0-bin.tar.gz
# 将压缩之后的 nifi 目录及文件上传到其他两个服务器上
scp -r /usr/local/nifi/nifi-1.12.0 root@node02:/usr/local/nifi
scp -r /usr/local/nifi/nifi-1.12.0 root@node03:/usr/local/nifi

二、修改配置

以下配置 集群环境的三个节点 都要进行配置

1.修改nifi.propries
进入 nifi 目录 
cd /usr/local/nifi/nifi-1.12.0/conf

编辑 nifi.properties 文件
# 指定不使用 内嵌的 zookeeper 
nifi.state.management.embedded.zookeeper.start=false
# web页面启动 http 和 https 只能选择一种方式
# web properties #
# http 主机地址
nifi.web.http.host=node01
# http 端口 默认8080, 避免冲突 改为58080
nifi.web.http.port=58080

# 配置集群节点 
# 节点加入集群 指定地址端口
nifi.cluster.is.node=true
nifi.cluster.node.address=node01
nifi.cluster.node.protocol.port=16001

# 指定等待时间
nifi.cluster.flow.election.max.wait.time=1 mins
# 至少达到几个节点的集群 
nifi.cluster.flow.election.max.candidates=1

# zookeeper properties, used for cluster management #
# 配置 zookeeper 集群环境 每台主机间用逗号分隔
nifi.zookeeper.connect.string=node01:2181,node02:2181,node03:2181
2.修改state-management.xml 文件
进入 nifi 目录 
cd /usr/local/nifi/nifi-1.12.0/conf

编辑 state-management.xml 文件

	
        zk-provider
        org.apache.nifi.controller.state.providers.zookeeper.ZooKeeperStateProvider
        node01:2181,node02:2181,node03:2181
        /nifi
        10 seconds
        Open
    

三、启动
进入 nifi 启动文件目录 
cd /usr/local/nifi/nifi-1.12.0/bin
执行命令
./nifi.sh start

浏览器查看
http:IP地址:58080/nifi  即可看到 NiFi web 页面
三台服务器都启动之后 每台服务器 都可成功进入页面

./nifi.sh status 查看状态
./nifi.sh stop 停止服务
./nifi.sh restart 重启 服务 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/689970.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号