栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

五十二、 Storm 组件安装部署(MINI版)

五十二、 Storm 组件安装部署(MINI版)

前景连接:

Hadoop HA部署(MINI版)https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501Spark组件部署(MINI版)https://blog.csdn.net/m0_54925305/article/details/121615781?spm=1001.2014.3001.5501Kafka组件部署(MINI版)https://blog.csdn.net/m0_54925305/article/details/121647743?spm=1001.2014.3001.5501

环境准备:
编号主机名类型用户密码
1master1-1主节点rootpasswd
2slave1-1从节点rootpasswd
3slave1-2从节点rootpasswd

apache-storm-1.2.4.tar.gz

        注:提取码均为:0000

环境部署:

一、前置安装 Zookeeper 集群,截图并保存结果

        1、启动三台机器zookeeper

bin/zkServer.sh start

二、解压 Storm 安装包到“/usr/local/src”路径,并修改解压后文件夹名为 storm,截图并保存结果

        1、进入/h3cu目录找到storm

cd /h3cu

         2、解压storm

tar -zxvf apache-storm-1.2.4.tar.gz -C /usr/local/src

        3、重命名storm

mv apache-storm-1.2.4 storm

 

三、配置“conf/storm.yaml”文件,截图并保存结果

四、传送配置好的“conf/storm.yaml”文件,截图并保存结果

五、配置 nimbus.seeds 文件,截图并保存结果

六、配置 supervisor.slots.ports,截图并保存结果

        1、进入storm/conf目录下

cd /usr/local/src/storm/conf

更改前:

更改后:

 参数配置:

# Zookeeper集群的主机列表
storm.zookeeper.servers:
     - "master1-1"
     - "slave1-1"
     - "slave1-2"

# Nimbus的节点列表
nimbus.seeds: ["master1-1", "slave1-1"]

# Nimbus和Supervisor需要使用本地磁盘上来存储少量状态(如jar包,配置文件等)
storm.local.dir: "/usr/local/src/storm/data"

#workers进程的端口,每个worker进程会使用一个端口来接收消息
supervisor.slots.ports:
     - 6700
     - 6701


#指定storm集群中的nimbus节点所在的服务器
nimbus.host: "master1-1"
 

#web页面端口号

ui.port: 9999

        注:文件内容的格式一定要注意,冒号后有空格,格式错误,进程是启动不了的

七、拷贝主节点 Storm 包到从节点,截图并保存结果

        1、集群分发

scp -r /usr/local/src/storm slave1-1:/usr/local/src/
scp -r /usr/local/src/storm slave1-2:/usr/local/src/

八、设置 Storm 环境变量,并使环境变量只对当前 root 用户生效,截图并保存结果

        1、添加环境变量

vi /root/.bashrc

 

        2、使环境变量立即生效 

source /root/.bashrc

九、在主节点和从节点启动,并截图保存(要求截到 url 和状态)

master端启动如下服务

        1、进入storm/bin目录下

cd /usr/local/src/storm/bin

        2、启动master和slave1的主节点 nimbus服务

nohup sh storm nimbus &

        3、启动从节点 supervisor服务

nohup sh storm supervisor &

        4、启动UI界面 ui

nohup sh storm ui &

        5、启动日志查看服务 logviewer

nohup sh storm logviewer &

slave端启动如下服务

        1、启动从节点 supervisor

nohup sh storm supervisor &

        2、启动日志查看服务 logviewer

nohup sh storm logviewer &

监控各节点的状态(web端)

        1、浏览器输入master1-1:9999查看集群状态

master1-1:9999

 

 

Storm 组件安装部署(MINI版)完成

不能打败你的必将使你愈发强大!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/629253.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号