在虚拟机中搭建Hadoop环境，详解

首先将hadoop解压包放入目录下

解压hadoop解压包，解压到/opt/soft里面

[root@gree6 install]# tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/soft

解压完看soft里面是否有呢

 接着改个名

[root@gree6 soft]# mv hadoop-2.6.0-cdh5.14.2/ hadoop260
 

 接着开始配置环境

[root@gree6 soft]# vi /etc/profile
在最后面加入，保存后退出

#hadoop
export HADOOP_HOME=/opt/soft/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

写入文件

[root@gree6 soft]# source /etc/profile
 

输入

[root@gree6 soft]# hadoop
 

下面这样则代表配置成功 

接着进入/opt/soft/hadoop260/etc/hadoop

开始配置文件

首先修改三个java环境变量
[root@gree2 hadoop]# vi ./hadoop-env.sh 在25行
[root@gree2 hadoop]# vi ./mapred-env.sh 在16行前面的#删掉
[root@gree2 hadoop]# vi ./yarn-env.sh 在23行

 还有2个一样

三个搞完后

修改win10系统,添加iphome
C:WindowsSystem32driversetchosts

 添加这些，不能添加的是因为你的文件只读呢，右击属性关掉就行

 接着继续配置 core-site.xml 

 在这里添加 

 

    fs.defaultFS
    hdfs://gree2:9000
  
  

    hadoop.tmp.dir
    /opt/soft/hadoop260/hadooptmp
  
  
    hadoop.proxyuser.root.hosts
    *
  
  
    hadoop.proxyuser.root.groups
    *
  

 然后配置hdfs-site.xml 

  

    dfs.replication
    3
  
  

    dfs.namenode.secondary.http-address
    gree2:50090
  

复制一份xml
[root@gree2 hadoop]# cp mapred-site.xml.template mapred-site.xml
配置mapred-site.xml

    

    mapreduce.framework.name
    yarn
  
    
    mapreduce.jobhistory.address
    gree2:10020
  
  
    mapreduce.jobhistory.mapapp.address
    gree2:19888
  

 配置 yarn-site.xml 

  

    yarn.nodemanager.aux-services
    mapreduce_shuffle
  
  
    yarn.nodemanager.aux-services.mapreduce.shuffle.class
    org.apache.hadoop.mapred.ShuffleHandler
  
  

    yarn.resourcemanager.hostname
    gree2
  
  

    yarn.log-aggregation-enable
    true
  
  

    yarn.log-aggregation.retain-seconds
    604800
  

添加gree，将localhost改为你的本机名
[root@gree2 hadoop]# vi ./slaves 

 格式化
[root@gree6 hadoop]#  hadoop namenode -format
 

这里显示0就没有问题 

启动所有服务
[root@gree6 hadoop]# start-all.sh
然后

[root@gree6 hadoop]# jps
 

一共显示6个才对 

关闭所有服务
stop-all.sh

启动历史服务
[root@gree2 hadoop]# mr-jobhistory-daemon.sh  start historyserver
命令方式查看节点状态
[root@gree2 hadoop]# yarn node -list -all

有用的希望收藏点赞一下谢谢