栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

搭建Spark单机环境2

搭建Spark单机环境2

目录

一、在三台虚拟机上面安装lrzsz

二、在三台虚拟机上安装配置jdk

三.配置完全分布模式Hadoop

配置文件 - hdfs-site.xml

配置文件 - mapred-site.xml

配置文件 - yarn-site.xml

 四.格式化与启动


一、在三台虚拟机上面安装lrzsz

1.在master虚拟机上面安装: yum -y install lrzsz

(同理,在slave1与slave2一样安装)

二、在三台虚拟机上安装配置jdk

在master虚拟机上面安装配置jdk

上传Java安装包

当上传不行的时候 进入vim配置

 使用解压命令: tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local 生成目录opt

 使用命令:vim /etc/profile 配置环境变量

 存盘退出: source /etc/profile

查看jdk版本

 将master虚拟机上面环境分别分发slave1 执行以下命令

1)scp -r $JAVA_HOME root@slave1:$JAVA_HOME

2)scp /etc/profile root@slave1:/etc/profile

执行命令:source /etc/profile,让配置生效

 将master虚拟机上面环境分别分发slave2

1)scp -r $JAVA_HOME root@slave2:$JAVA_HOME

2)scp /etc/profile root@slave2:/etc/profile

执行命令:source /etc/profile,让配置生效

三.配置完全分布模式Hadoop

在master上面安装并配置Hadoop

上传Hadoop

解压Hadoop

配置Hadoop

 JAVA_HOME=/usr/local/jdk1.8.0_231
HADOOP_HOME=/usr/local/hadoop-2.7.1
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export JAVA_HOME HADOOP_HOME PATH CLASSPATH

存盘退出,执行命令:source /etc/profile,让配置生效

 进入Hadoop

 进入并配置环境  vim hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_231 
export  HADOOP_HOME=/usr/local/hadoop-2.7.1
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
 

存盘退出后,执行命令source hadoop-env.sh,让配置生效

查看环境变量

配置文件 - core-site.xml 

执行命令:vim core-site.xml

 
   
   
        fs.defaultFS
        hdfs://master:9000
   

   
   
        hadoop.tmp.dir
        /usr/local/hadoop-2.7.1/tmp
   
   

配置文件 - hdfs-site.xml

执行命令:vim hdfs-site.xml

 

 
   
       
        dfs.namenode.name.dir
        /usr/local/hadoop-2.7.1/tmp/namenode
   

   
       
        dfs.datanode.data.dir
        /usr/local/hadoop-2.7.1/tmp/disk1, /usr/local/hadoo
p-2.7.1/tmp/disk2

   

配置文件 - mapred-site.xml

执行命令:cp mapred-site.xml.template mapred-site.xml

 

 
   
       
        mapreduce.framework.name
        yarn
   

存盘退出

配置文件 - yarn-site.xml

执行命令:vim yarn-site.xml

 
   
       
        yarn.resourcemanager.hostname
        master
   

   
       
        yarn.nodemanager.aux-services
        mapreduce_shuffle
   

存盘退出

编辑slave文件

将master分配到slave1与slave2

1)scp -r $HADOOP_HOME root@slave1:$HADOOP_HOME 

2)scp /etc/profile root@slave1:/etc/profile

执行命令:source /etc/profile使其生效

1)scp -r $HADOOP_HOME root@slave2:$HADOOP_HOME 

2)scp /etc/profile root@slave2:/etc/profile

执行命令:source /etc/profile使其生效

 四.格式化与启动

在master虚拟机上,执行命令:hdfs namenode -format

格式化成功

启动各节点

查看jps

 添加辅助节点

 
     
     dfs.namenode.secondary.http-address
     master:50090

存盘退出

停止服务

再次启动

 未完待续............

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/762201.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号