centos环境Hadoop3编译安装

基础环境：Centos 7.7

编译环境软件安装目录

mkdir -p /export/server

• 安装编译相关的依赖

  1、yum install gcc gcc-c++ -y
  
  #下面这个命令不需要执行 手动安装cmake
  2、yum install make cmake  #(这里cmake版本推荐为3.6版本以上，版本低源码无法编译！可手动安装)
  
  3、yum install autoconf automake libtool curl -y
  
  4、yum install lzo-devel zlib-devel openssl openssl-devel ncurses-devel -y
  
  5、yum install snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop libXtst -y
  

• 手动安装cmake

  #yum卸载已安装cmake 版本低
  yum erase cmake
  
  #解压
  tar zxvf cmake-3.13.5.tar.gz
  
  #编译安装
  cd /export/server/cmake-3.13.5
  
  ./configure
  
  make && make install
  
  #验证
  [root@node4 ~]# cmake -version      
  cmake version 3.13.5
  
  #如果没有正确显示版本 请断开SSH连接 重写登录
  

• 手动安装snappy

  #卸载已经安装的
  cd /usr/local/lib
  
  rm -rf libsnappy*
  
  #上传解压
  tar zxvf snappy-1.1.3.tar.gz 
  
  #编译安装
  cd /export/server/snappy-1.1.3
  ./configure
  make && make install
  
  #验证是否安装
  [root@node4 snappy-1.1.3]# ls -lh /usr/local/lib |grep snappy
  -rw-r--r-- 1 root root 511K Nov  4 17:13 libsnappy.a
  -rwxr-xr-x 1 root root  955 Nov  4 17:13 libsnappy.la
  lrwxrwxrwx 1 root root   18 Nov  4 17:13 libsnappy.so -> libsnappy.so.1.3.0
  lrwxrwxrwx 1 root root   18 Nov  4 17:13 libsnappy.so.1 -> libsnappy.so.1.3.0
  -rwxr-xr-x 1 root root 253K Nov  4 17:13 libsnappy.so.1.3.0
  

• 安装配置JDK 1.8

  #解压安装包
  tar zxvf jdk-8u65-linux-x64.tar.gz
  
  #配置环境变量
  vim /etc/profile
  
  export JAVA_HOME=/export/server/jdk1.8.0_65
  export PATH=$PATH:$JAVA_HOME/bin
  export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  
  source /etc/profile
  
  #验证是否安装成功
  java -version
  
  java version "1.8.0_65"
  Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
  Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)
  You have new mail in /var/spool/mail/root
  

• 安装配置maven

  #解压安装包
  tar zxvf apache-maven-3.5.4-bin.tar.gz
  
  #配置环境变量
  vim /etc/profile
  
  export MAVEN_HOME=/export/server/apache-maven-3.5.4
  export MAVEN_OPTS="-Xms4096m -Xmx4096m"
  export PATH=:$MAVEN_HOME/bin:$PATH
  
  source /etc/profile
  
  #验证是否安装成功
  [root@node4 ~]# mvn -v
  Apache Maven 3.5.4
  
  #添加maven 阿里云仓库地址 加快国内编译速度
  vim /export/server/apache-maven-3.5.4/conf/settings.xml
  
  
       
             alimaven
             aliyun maven
             http://maven.aliyun.com/nexus/content/groups/public/
             central
        
  
  

• 安装ProtocolBuffer 2.5.0

  #解压
  tar zxvf protobuf-2.5.0.tar.gz
  
  #编译安装
  cd /export/server/protobuf-2.5.0
  ./configure
  make && make install
  
  #验证是否安装成功
  [root@node4 protobuf-2.5.0]# protoc --version
  libprotoc 2.5.0
  

• 编译hadoop

  #上传解压源码包
  tar zxvf hadoop-3.1.4-src.tar.gz
  
  #编译
  cd /export/server/hadoop-3.1.4-src
  
  mvn clean package -Pdist,native -DskipTests -Dtar -Dbundle.snappy -Dsnappy.lib=/usr/local/lib
  
  #参数说明：
  
  Pdist,native ：把重新编译生成的hadoop动态库；
  DskipTests ：跳过测试
  Dtar ：最后把文件以tar打包
  Dbundle.snappy ：添加snappy压缩支持【默认官网下载的是不支持的】
  Dsnappy.lib=/usr/local/lib ：指snappy在编译机器上安装后的库路径
  

• 编译之后的安装包路径

  /export/server/hadoop-3.1.4-src/hadoop-dist/target