4.CentOS7下安装和配置Hadoop

python编程快速上手（持续更新中…） 推荐系统基础

---

文章目录

• python编程快速上手（持续更新中…）
• • 推荐系统基础
  • 一、准备工作
  • • 1、CentOS虚拟机
    • 2、Hadoop相关压缩包下载（包含Zookeeper、Hbase、Hive等）
    • 3、创建上传安装包路径/software
  • 二、事前配置
  • • 1、关闭防火墙
    • 2、修改主机名和主机列表
    • 3、配置免密登录
  • 三、解压安装Hadoop
  • • 1、拖入hadoop相关安装包
    • 2、进入/software，依次执行下面命令将文件解压至/opt目录下
    • 3、进入opt目录并给这些文件改名（JDK上一篇改过了）
  • 四、修改配置文件
  • • 1、opt目录下
    • 2、vi hadoop-env.sh
    • 3、vi core-site.xml
    • 4、vi hdfs-site.xml
    • 5、将文件mapred-site.xml.template改名为mapred-site.xml
    • 6、vi yarn-site.xml
    • 7、vi slaves
  • 五、修改环境变量
  • • 1、vi /etc/profile
    • 2、重启配置
  • 六、格式化HDFS
  • 七、Hadoop的启动与关闭
  • • 1、启动服务
    • 2、输入密码
    • 3、通过浏览器来判断服务是否开启成功
    • 4、启动历史服务（开不开没关系）
    • 5、关闭服务
    • 6、关闭历史服务

一、准备工作 1、CentOS虚拟机

CentOS7下安装JDK1.8

2、Hadoop相关压缩包下载（包含Zookeeper、Hbase、Hive等）

hadoop包链接
提取码：hhyv

3、创建上传安装包路径/software

mkdir /software

二、事前配置 1、关闭防火墙

1、看防火墙状态

systemctl status firewalld

2、关闭防火墙

systemctl stop firewalld

3、禁用防火墙

systemctl disable firewalld

2、修改主机名和主机列表

1、改主机名为hadoop1

hostnamectl set-hostname hadoop1

2、查看是否成功(也可以直接用这个命令修改)

vi /etc/hostname

3、修改主机列表

vi /etc/hosts

3、配置免密登录

1、生成私钥

ssh-keygen -t rsa -P “”（注意这里是两个英文双引号）

回车后需要再按一次回车

2、复制到授权密钥

cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

三、解压安装Hadoop 1、拖入hadoop相关安装包

2、进入/software，依次执行下面命令将文件解压至/opt目录下

tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/
tar -zxvf hbase-1.2.0-cdh5.14.2.tar.gz -C /opt/
tar -zxvf hive-1.1.0-cdh5.14.2.tar.gz -C /opt/
tar -zxvf zookeeper-3.4.6.tar.gz -C /opt/
tar -xvf hadoop-native-64-2.6.0.tar -C /opt/hadoop-2.6.0-cdh5.14.2/lib/native/
cp /opt/hadoop-2.6.0-cdh5.14.2/lib/native/libh* /opt/hadoop-2.6.0-cdh5.14.2/lib/

3、进入opt目录并给这些文件改名（JDK上一篇改过了）

cd /opt
mv hadoop-2.6.0-cdh5.14.2/ hadoop
mv hbase-1.2.0-cdh5.14.2/ hbase
mv hive-1.1.0-cdh5.14.2/ hive
mv zookeeper-3.4.6/ zookpr

四、修改配置文件 1、opt目录下

cd hadoop/etc/hadoop

2、vi hadoop-env.sh

export JAVA_HOME=/opt/jdk8

3、vi core-site.xml

  fs.defaultFS
  hdfs://172.24.128.34:9000



   hadoop.tmp.dir
   /opt/hadoop/tmp



   hadoop.proxyuser.root.hosts
   *



        hadoop.proxyuser.root.groups
        *

4、vi hdfs-site.xml

  dfs.replication
  1



  dfs.namenode.secondary.http-address
  172.24.128.34:50090

5、将文件mapred-site.xml.template改名为mapred-site.xml

mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

        mapreduce.framework.name
        yarn



        mapreduce.jobhistory.address
        172.24.128.34:10020



        mapreduce.jobhistory.webapp.address
        172.24.128.34:19888

6、vi yarn-site.xml

    yarn.nodemanager.aux-services
    mapreduce_shuffle


    yarn.nodemanager.aux-services.mapreduce.shuffle.class
    org.apache.hadoop.mapred.ShuffleHandler



    yarn.resourcemanager.hostname
    hadoop1



    yarn.log-aggregation-enable
    true



    yarn.log-aggregation.retain-seconds
    604800

7、vi slaves

将内容改为主机名hadoop1

五、修改环境变量 1、vi /etc/profile

修改为：

export JAVA_HOME=/opt/jdk8
export CLASSPATH=.: J A V A H O M E / r t . j a r : JAVA_HOME/rt.jar: JAVAH​OME/rt.jar:JAVA_HOME/tools.jar: J A V A H O M E / d t . j a r e x p o r t J R E H O M E = JAVA_HOME/dt.jar export JRE_HOME= JAVAH​OME/dt.jarexportJREH​OME=JAVA_HOME/jre
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin: J R E H O M E / b i n : JRE_HOME/bin: JREH​OME/bin:HADOOP_HOME/sbin: H A D O O P H O M E / b i n : HADOOP_HOME/bin: HADOOPH​OME/bin:Hbase_HOME/bin: H I V E H O M E / b i n e x p o r t H A D O O P H O M E = / o p t / h a d o o p e x p o r t H base H O M E = / o p t / h base e x p o r t H I V E H O M E = / o p t / h i v e e x p o r t H A D O O P M A P R E D H O M E = HIVE_HOME/bin export HADOOP_HOME=/opt/hadoop export Hbase_HOME=/opt/hbase export HIVE_HOME=/opt/hive export HADOOP_MAPRED_HOME= HIVEH​OME/binexportHADOOPH​OME=/opt/hadoopexportHBASEH​OME=/opt/hbaseexportHIVEH​OME=/opt/hiveexportHADOOPM​APREDH​OME=HADOOP_HOME
export HADOOP_COMMON_HOME= H A D O O P H O M E e x p o r t H A D O O P H D F S H O M E = HADOOP_HOME export HADOOP_HDFS_HOME= HADOOPH​OMEexportHADOOPH​DFSH​OME=HADOOP_HOME
export YARN_HOME= H A D O O P H O M E e x p o r t H A D O O P C O M M O N L I B N A T I V E D I R = HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR= HADOOPH​OMEexportHADOOPC​OMMONL​IBN​ATIVED​IR=HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

其中hbase、hive等的环境变量暂时用不到，先配上方便以后使用

2、重启配置

source /etc/profile

六、格式化HDFS

hadoop namenode -format

七、Hadoop的启动与关闭 1、启动服务

start-all.sh

第一次启动需要输入yes确认密钥

2、输入密码

3、通过浏览器来判断服务是否开启成功

hdfs：172.24.128.34:50070

yarn:172.24.128.34.101:8088

4、启动历史服务（开不开没关系）

mr-jobhistory-daemon.sh start historyserver

历史服务：172.24.128.34:19888

5、关闭服务

stop-all.sh

6、关闭历史服务

mr-jobhistory-daemon.sh stop historyserver