hadoop配置文件_大数据系统

hadoop配置文件

安装前的工作：

jdk
集群中节计算机互联互通
关闭防火墙
节点间的计算机免密码登录（authorized_keys认证文件root用户存放在/root/.ssh/）
(User用户 /home/user/.ssh/)
A计算机免密码登录B计算机，将A计算机的公钥存放在B计算机的认证文件authorized_keys
产生
安装hadoop
Bin目录-命令eg : hadoop namenode -format
Sbin目录-各种启动文件停止服务
Etc/hadoop/ 各种配置文件

1.hadoop-env.sh 环境配置

export JAVA_HOME=${JAVA_HOME}
[root@NAME250 hadoop]# echo $JAVA_HOME
/software/jdk1.8.0_65
[root@NAME250 hadoop]#

2.core-site.xml 核心配置
3.hdfs-site.xml
4.yarn-site.xml
5. mapred-site.xml cp mapred-site.xml.template mapred-site.xml
6. slaves 从节点计算机
7. masters主节点配置
配置core-site.xml（如图1-60所示）。

[root@master hadoop]# vi core-site.xml

        
               fs.defaultFS
               hdfs://master:9000//master是主节点namenode主机名：9000端口号
        
        
               io.file.buffer.size
               131072
        
        
               hadoop.tmp.dir
               file:/usr/hadoop/tmp

备注：如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错。

7）配置hdfs-site.xml（如图1-61所示）。

[root@master hadoop]# vi hdfs-site.xml

     
               dfs.namenode.name.dir
               file:/usr/hadoop/dfs/name
        
        
               dfs.namenode.data.dir
               file:/usr/hadoop/dfs/data
        
        
               dfs.replication  //复本数量 
               3

修改Hadoop中HDFS的配置，配置的备份方式默认为3

8）配置yarn-site.xml（如图1-62所示）。

[root@master hadoop]# vi yarn-site.xml

 
               yarn.resourcemanager.address
               master:8032//
        
        
               yarn.resourcemanager.scheduler.address
               master:8030
        
        
               yarn.resourcemanager.resource-tracker.address
               master:8031
        
        
               yarn.resourcemanager.admin.address
               master:8033
        
        
               yarn.resourcemanager.webapp.address
               master:8088

        
               yarn.nodemanager.aux-services
               mapreduce_shuffle
        
        
               yarn.nodemanager.aux-services.mapreduce.shuffle.class
               org.apache.hadoop.mapred.ShuffleHandler

9）配置mapred-site.xml（如图1-63所示）。

[root@master hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@master hadoop]# vi mapred-site.xml

        
               mapreduce.framework.name
               yarn
        
        
               mapreduce.jobhistory.address
               master:10020
        
        
               mapreduce.jobhistory.webapp.address
               master:19888

10）配置masters文件（如图1-64所示）。

[root@master hadoop]# vi masters  #加入以下内容  主节点的IP地址

11）配置slaves文件（如图1-65所示）。

[root@master hadoop]# vi slaves  #删除localhost，加入以下内容  从节点的IP地址

至此配置文件基本配置完毕。
12）新建目录。

[root@master hadoop]# mkdir /usr/hadoop/tmp
[root@master hadoop]# mkdir /usr/hadoop/dfs/name -p
[root@master hadoop]# mkdir /usr/hadoop/dfs/data -p

13）修改/usr/hadoop目录的权限。

[root@master hadoop]# chown -R hadoop:hadoop /usr/hadoop/

14）将master上的hadoop安装文件同步到slave1 slave2 slave3。

[root@master hadoop]#cd
[root@master ~]# scp -r /usr/hadoop/ root@slave1:/usr/
[root@master ~]# scp -r /usr/hadoop/ root@slave2:/usr/
[root@master ~]# scp -r /usr/hadoop/ root@slave3:/usr/

15）在每个slave节点上配置hadoop的环境变量（所有slave节点）。

[root@master ~]# vi /etc/profile  #文件末尾添加

# set hadoop environment
export HADOOP_HOME=/usr/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

16）使配置的hadoop的环境变量生效（所有slave节点）。

[root@master ~]# source /etc/profile

17）修改/usr/hadoop目录的权限（所有slave节点）。

[root@master ~]# chown -R hadoop:hadoop /usr/hadoop/

18）切换到hadoop用户（所有slave节点）。

[root@master ~]#su - hadoop

19）先格式化（master节点）。

[hadoop@master ~]$ hadoop namenode -format

20）启动hadoop（master节点）（如图1-66所示）。

[hadoop@master ~]$ start-all.sh

21）查看Java进程（如图1-67所示）。
master节点

[hadoop@master ~]$ jps

Slave1节点（如图1-68所示）。
[hadoop@slave1~]$ jps

Slave2节点（如图1-69所示）。
[hadoop@slave2~]$ jps

Slave3节点（如图1-70所示）。
[hadoop@slave3~]$ jps

5）使用浏览器浏览Master节点机http://192.168.150.81:50070,查看NameNode节点状态（如图1-71所示）。

6）浏览Datanode数据节点

注意：这俩操作是必须执行的，不然浏览器访问不了数据节点

hadoop配置文件

大数据系统相关栏目本月热门文章