Hadoop伪分布式环境搭建过程

关闭防火墙

执行关闭命令： systemctl stop firewalld.service   

开机禁用防火墙自启命令 ： systemctl disable firewalld.service                                                  

开启防火墙                                                                                                                                     

启动:systemctl start firewalld.service    

 查看防火墙状态

service iptables status

2.1. 修改文件 /etc/sysconfig/network 

       设定主机名与网卡启动、网关配置

vi /etc/sysconfig/network
[root@host1 ~]# cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=muban

 2.2. 将hostname属性改为指定的主机名

hostname 

 2.3. 让network文件重新生效

source /etc/sysconfig/network

     编辑hosts文件

vim /etc/hosts
172.16.51.21  host1

 6.1. 上传gz包，并解压
       解压：tar -zxvf 包名                                                                                                                     

6.2. 设置环境

vi /etc/profile
在文件尾行添加以下内容
JAVA_HOME=/simple/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH

 6.3. 重新加载profile使配置生效

source /etc/profile 

 测试环境变量是否生效

echo $JAVA_HOME
java -version

7.1. 上传安装包，并解压

tar -zxvf hadoop-2.4.1.tar.gz

7.2. 修改配置 

 cd /simple/hadoop-2.4.1/etc/hadoop

 7.2.1. hadoop-env. sh

修改JAVA_HOME的路径
修改HADOOP_CONF_DIR的路径

# The java implementation to use.
export JAVA_HOME=/simple/jdk1.7.0_79

# The java implementation to use. Jsvc is required to run secure datanodes.
#export JAVA_HOME=${JAVA_HOME}

 HADOOP_CONF_DIR=/simple/hadoop-2.4.1/etc/hadoop

 7.2.2. core-site.xml

    fs.default.name
    hdfs://172.16.51.21:9000


    fs.defaultFS
    hdfs://172.16.51.21:9000


    hadoop.tmp.dir
    /simple/hadoop-2.4.1/tmp

 7.2.3. hdfs-site.xml

        
                dfs.replication
                1
        
        
                dfs.name.dir
                /simple/hadoop-2.4.1/hdfs/name
        
        
                dfs.data.dir
                /simple/hadoop-2.4.1/hdfs/data
        

 

7.2.4. mapred-site.xml

    mapreduce.framework.name
    yarn

 7.2.5. yarn-site.xml

    yarn.resourcemanager.hostname
    172.16.51.21


    yarn.nodemanager.aux-services
    mapreduce_shuffle



 

vi /etc/profile

 1.添加Hadoop的环境变量

JAVA_HOME=/simple/jdk1.7.0_79
HADOOP_HOME=/simple/hadoop-2.4.1
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
 

 重新生效：

source /etc/profile

9.1. 格式化namenode

hdfs namenode -format 
 

 9.2. 启动dfs和yarn 

start-dfs.sh
start-yarn.sh
启动之后,在任意目录下执行jps命令验证进程是否正常启动                                                      

输入 jps 查看

[root@host1 hadoop]# jps
14711 DataNode
97326 NameNode
98508 SecondaryNameNode
99506 NodeManager
48045 Jps
94455 ResourceManager