大数据集群安装02之Hadoop配置

配置千万条，网络第一条。

配置不规范，bug改到吐。

内外ip要分清，本机配置内ip，连接请用外ip

【安装命令】：

yum install -y lrzsz

【上传命令】：

## 上传压缩包
rz

## 压缩
tar -zxvf [包名]

(1)编辑.bashrc文件
在所有节点的.bashrc文件中添加如下内容：(也可以在profile文件中添加)

# jdk
export JAVA_HOME=/root/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

# hadoop
export HADOOP_HOME=/root/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
export HADOOP_HOME_WARN_SUPPRESS=1

# spark
export SPARK_HOME=/root/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

其中JAVA_HOME和HADOOP_HOME需要换成你自己的安装路径。

执行：source .bashrc使编辑的内容生效。

编辑所有节点的/etc/hosts文件，

116.85.43.227    hadoop-03
106.12.48.46     hadoop-02
47.95.0.108(本机在这里要填内网ip)      hadoop-01

保存退出。

查看下/etc/hostname中的值是否和你的主机名一致，若不一致，则改成你的主机名，否则就不需要改。

1.编辑hadoop-env.sh,yarn-env.sh文件
编辑所有节点的hadoop-env.sh文件(位于hadoop/conf/下)
先取消export JAVA_HOME的注释，然后修改后面的路径为你自己的安装路径

export JAVA_HOME=/root/jdk1.8.0_241

2.编辑core-site.xml文件
编辑所有节点的core-site.xml文件，添加如下内容：

fs.default.name
hdfs://hadoop-01:9000



hadoop.tmp.dir
/root/hadoop-2.7.1/tmp

hadoop-01是我的namenode节点的主机名，你可以替换成你的namenode节点的主机名。

3.编辑hdfs-site.xml,yarn-site.xml文件
编辑所有节点的hdfs-site.xml文件，添加如下内容：

dfs.namenode.name.dir
file:/root/hadoop-2.7.1/hadoop_data/hdfs/namenode



dfs.datanode.data.dir
file:/root/hadoop-2.7.1/hadoop_data/hdfs/datanode




dfs.replication
1



dfs.namenode.datanode.registration.ip-hostname-check
false



dfs.nameservices
hadoop-cluster1



dfs.namenode.secondary.http-address
hadoop-01:50090



dfs.webhdfs.enabled
true

dfs.namenode.name.dir是namenode节点存放目录，dfs.datanode.data.dir是datanode节点的存放目录，均可以替换成你自己想要存放的路径。

编辑所有节点的yarn-site.xml文件，添加如下内容：

 
        yarn.resourcemanager.hostname
        hadoop-01
    

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.resourcemanager.address
        hadoop-01:8032
    
    
        yarn.resourcemanager.scheduler.address
        hadoop-01:8030
    
    
        yarn.resourcemanager.resource-tracker.address
        hadoop-01:8031
    
    
        yarn.resourcemanager.admin.address
        hadoop-01:8033
    
    
        yarn.resourcemanager.webapp.address
        hadoop-01:8088
    

4…编辑mapred-site.xml文件
编辑所有节点的mapred-site.xml文件，添加如下内容：

 
    mapreduce.framework.name
    yarn
  
 
        mapreduce.jobtracker.http.address
        hadoop-01:50030
    
  
        mapred.job.tracker
        http://hadoop-01:9001
    
  
    mapreduce.jobhistory.address
    hadoop-01:10020
  
  
    mapreduce.jobhistory.webapp.address
    hadoop-01:19888
  

hadoop-01是我的jobtracker节点的主机名，你可以替换成你自己的jobtracker节点所在的主机名。

5.编辑slaves文件

打开slaves，将localhost替换成
hadoop-02

hadoop-03
保存退出

6.将配置好的hadoop文件复制到其他节点上

scp -r /root/hadoop-2.7.1/etc/hadoop root@hadoop-02:/root/hadoop-2.7.1/etc/
scp -r /root/hadoop-2.7.1/etc/hadoop root@hadoop-03:/root/hadoop-2.7.1/etc/

./bin/hdfs namenode -format

source /etc/profile

./start-dfs.sh