栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop配置步骤

Hadoop配置步骤

在master主机上编写配置文件

[root@master /]# vim /etc/hosts

把master主机文件的hosts文件分发给slave1和slave2

[root@master /]# scp /etc/hosts root@slave1:/etc

[root@master /]# scp /etc/hosts root@slave2:/etc

生成公钥,连续按3下回车键

[root@master /]# ssh-keygen

把生成的公钥发送给slave1和slave2,然后在slave1和slave2上重复这个操作,先生成公钥,然后在分别发送给另外两个主机

[root@master hadoop]# ssh-copy-id slave1

[root@master hadoop]# ssh-copy-id slave2

#进入目录

[root@master hadoop]# pwd
/usr/cstor/hadoop/etc/hadoop/etc

#编写配置文件

配置Java_Home路径

编写配置文件

查看jdk的安装路径

[root@master hadoop]# which java
/usr/local/jdk1.8.0_161/bin/java

配置jdk环境变量,注意这里的路径不要bin和后面的字符

[root@master hadoop]# vim hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_161

 

core-site.xml


       
                hadoop.tmp.dir
                /home/dtadmin/hadooptmp
       

       
                fs.defaultFS
                hdfs://master:8020
       

       
                io.file.buffer.size
                131072
       

hdfs-site.xml


       
                dfs.namenode.name.dir
                file:/home/dtadmin/hadoopdata/namenode
       

       
                dfs.datanode.data.dir
                file:/home/dtadmin/hadoopdata/datanode
       

       
                io.file.buffer.size
                131072
       

       
                dfs.namenode.handler.count
                100
       

 yarn-site.xml


       
                yarn.resourcemanager.scheduler.address
                master:8030
       

       
                yarn.resoucemanager.address
                master:8032
       

       
                yarn.acl.enable
                false
       

       
                yarn.admin.acl
                *
       

       
                yarn.log-aggregation-enable
                false
       

       
                yarn.resourcemanager.webapp.address
                master:8088
       

       
                yarn.resourcemanager.hostname
                master
       

slaves.xml

slave1
slave2

把生成的发送给slave1和slave2,这里的hadoop文件的目录是,分发的是/usr/cstor/hadoop下面的所有文件,-r 参数是递归发送所有文件

[root@master /]# which hadoop

/usr/cstor/hadoop/bin/hadoop

[root@master /]# scp -r /usr/cstor/hadoop/ root@slave1:/usr/cstor

[root@master /]# scp -r /usr/cstor/hadoop/ root@slave2:/usr/cstor

格式化namenode

[root@master hadoop]# bin/hdfs namenode -format

 启动NameNode 和DataNode 的守护进程

[root@master hadoop]# sbin/start-dfs.sh

 输入jps,结果如图

[root@master hadoop]# jps
533 NameNode
2104 Jps
777 DataNode
1001 SecondaryNameNode

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/629030.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号