栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Spark环境搭建与安装

Spark环境搭建与安装

1.在私有云上创建三个虚拟机

2. 在Secure CRT上登录并且连接三个虚拟机

3.连接并且登录master虚拟机,在master上通过yum -y install vim命令安装vim编辑器

4.通过命令vi/etc/resolv.conf修改/etc/resolv.conf文件进入,添加2个域名服务器 地址,并添加虚拟机ip和主机命映射,在存盘退出,slave1丶2同理

 5.关闭和禁用防火墙,slave1和slave2一样

 6.在master上关闭Selinux安全机制

 7.在master,slave1  slave2上安装lrzsz传输工具,命令 yum -y install lrzsz

8.在master和其他2台虚拟机上面安装JDK

 9.输入命令tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local,解压JDK 

 执行ls /usr/local,查看解压完成后的JDK

 10.输入vim /etc/profile进入文件配置环境变量,然后存盘退出输入source/etc/profile让配置文件生效

 JAVA_HOME=/usr/local/jdk1.8.0_231
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH CLASSPATH

11.查看JDK的版本

 12.配置完全Hadoop,vim core-site.xml,vim hdfs-site.xml ,vim mared-site.xml ,vim yarn-site.xml完成后存盘并且退出

 

13.编辑slave文件 执行vim slaves,存盘并退出

 

14.启动hdfs服务,执行jps命令查看进程

 

查看slave1和2的进程只有namemanger,datanode 

 

15.查看Hadoop的web ui界面

不能通过master加端口50070端口的方法,因为没有在hosts文件里IP和主机名映射,需要在hosts中添加后即可

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/762047.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号