栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Strom本地环境搭建

Strom本地环境搭建

1、前期准备

需要的安装包:安装包

2、安装Python3

参考步骤:Python3

3、配置环境变量

在/home中新建soft文件夹
上传软件JDK,Zookeeper,Storm到/home/soft中
安装unzip

 yum install unzip

接下来分别进行解压文件

unzip apache-storm-2.1.0.zip
tar -vxf zookeeper-3.4.14.tar 
tar -zxvf jdk-8u271-linux-x64.tar.gz

配置环境变量
对所有的用户都生效: vim /etc/profile
在文件最后添加以下内容

export JAVA_HOME=/home/soft/jdk1.8.0_271/
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export ZOOKEEPER_HOME=/home/soft/zookeeper-3.4.14/
export PATH=$ZOOKEEPER_HOME/bin:$PATH

export STORM_HOME=/home/soft/apache-storm-2.1.0
export PATH=$STORM_HOME/bin:$PATH
4、配置zookeeper

进入zookeeper的conf目录,执行以下命令

mv  zoo_sample.cfg zoo.cfg

vim zoo.cfg
# 添加以下内容
dataDir=/home/soft/zookeeper-3.4.14/dataDir
dataLogDir=/home/soft/zookeeper-3.4.14/dataLogDir

新建文件夹

mkdir dataLogDir
mkdir dataDir

接下来,使用 bin/zkServer.sh start 启动zookeeper
使用 bin/zkServer.sh status 查看zookeeper是否启动成功
此时,使用 jps 查看zookeeper进程
关闭zookeeper,bin/zkServer.sh stop

5、配置storm

进入到storm中的conf目录

vim storm.yaml 
# 添加以下内容
#集群主机地址、nimbus 节点地址、本地状态存储路径、slot端口等
storm.zookeeper.servers:
     - "127.0.0.1"
 
nimbus.seeds: ["127.0.0.1"]
 
storm.local.dir: "/home/soft/apache-storm-2.1.0/status"
 
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703 

新建文件夹

 mkdir status
6、启动storm

首先启动zookeeper

# 启动storm
storm nimbus >/dev/null 2>&1 &
storm supervisor >/dev/null 2>&1 &
storm ui >/dev/null 2>&1 &
7、打开浏览器,输入 ip:8080即可访问storm的UI界面

8、Storm上运行本地程序

把本地写的WordCount程序打包上传到Storm的根目录下,运行jar包即可在UI界面中看到运行的WordCount程序的拓扑

storm jar test-1.0-SNAPSHOT.jar net.wordcount.WrodCountTopology word
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/773908.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号