Linux开发环境配置-Hadoop安装（五）

Hadoop是一个开源框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器，每个都提供本地计算和存储。需要提前安装Java环境。

• 1.下载相关版本
  wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz
• 2.解压下载的文件
  tar -zxvf hadoop-3.1.3.tar.gz
• 3.在 /usr/local/ 下创建hadoop文件夹，并将解压得到的hadoop-3.1.3放入hadoop文件夹中,并在终端中进入hadoop-3.1.3目录
• 4.进行伪分布式/单机版配置

（1）vi $HADOOP_HOME/etc/hadoop/core-site.xml

    
    
        fs.defaultFS
        hdfs://localhost:9000
    
    
    
        hadoop.tmp.dir
        /usr/local/hadoop/hadoop-3.1.3/data/tmpData
    

（2）vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

    
    
        dfs.replication
        1
    
	
        dfs.namenode.name.dir
        /usr/local/hadoop/hadoop-3.1.3/data/tmpData/dfs/name
    
	
        dfs.namenode.data.dir
        /usr/local/hadoop/hadoop-3.1.3/data/tmpData/dfs/data
    
    
    
        dfs.permissions
        false
    
    
        dfs.datanode.http.address
        0.0.0.0:50070
    

（3）配置 vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh,
配置 vi $HADOOP_HOME/etc/hadoop/mapred-env.sh,
配置 vi $HADOOP_HOME/etc/hadoop/yarn-env.sh: 均设置JAVA_HOME

export JAVA_HOME=/usr/local/java/jdk1.8.0_161

• 5.配置公钥
  ssh-keygen -t rsa
  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

• 6.vim /etc/hosts
  将所有的localhost.localdomain 替换为主机名

• 7.启动hadoop

cd $HADOOP_HOME
#格式化namenode
bin/hadoop namenode -format
#启动
sbin/start-all.sh

• 8.测试
  输入jps
  
• 9.系统默认提供计算圆周率的java程序
  hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi 10 10