栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Scala,spark,Kafka,storm配置(1+x)

Scala,spark,Kafka,storm配置(1+x)

  • Scala与spark部署

配置环境变量

      解压文件

改名

      生效环境变量

      检验Scala是否能使用

      按CTRL+C退出

      配置spark文件

      新建文件并写入

      分发环境变量,并到另外两台机器使环境变量生效

      分发文件

      三台机器启动zookeeper,并查看状态

      启动spark

      在master1-1的spark下的sbin里启动Hadoop

      访问master1-1:8080

      在slave1-1的spark下的sbin里启动master

      访问slave1-1:8080

  • Kafka部署

配置环境变量

      解压文件

      改名

      生效环境变量

      分发环境变量,并到另外两台机器使环境变量生效

      三台机器启动zookeeper,并查看状态

      配置文件

      新建文件夹

分发文件

      修改另外两台机器的配置文件

      启动Kafka(三台)

      在master1-1上创建topic-test

      在master1-1上查看topic

      在master1-1上创建生产者

      在slave1-1上创建消费者

      在master1-1里测试生产者

      返回slave1-1查看消费者状态

  • Storm部署

配置环境变量

解压文件

改名

      生效环境变量

分发环境变量,并到另外两台机器使环境变量生效

三台机器启动zookeeper,并查看状态

编辑配置文件

      分发文件

      启动

Master端(启动四个),并查看

Salve端(启动两个),并查看

      访问网页

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/663334.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号