hadoop伪分布式搭建（中）

接hadoop环境搭建（上）

#配置core-site.xml文件
$ cd /opt/modules/hadoop/etc/hadoop
$ vim core-site.xml

#添加
	
        fs.defaultFS
        hdfs://localhost:9000
    

$ vim hdfs-site.xml
#配置hdfs-site.xml：
#添加

        dfs.replication
        1

#使用ssh连接本机
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

#格式化namenode
$ hdfs namenode -format

#启动hdfs
$ start-dfs.sh

#启动失败，报权限拒绝（permission denied），我们可以看到其启动
#start-dfs.sh的时候需要指定用户，
#接下来编辑start-dfs.sh文件，指定执行命令的用户：
$ vim start-dfs.sh

 #添加（**其中hadoop为自己的用户名**）
	HDFS_NAMENODE_USER=hadoop
	HDFS_DATANODE_USER=hadoop
	HDFS_SECONDARYNAMENODE_USER=hadoop

#再次启动，还是失败
#解决办法：在目录/etc/pdsh下面新建文件rcmd_default，写入ssh
$ cd /etc/pdsh
$ sudo touch rcmd_default
$ sudo vim rcmd_default

#启动hdfs
$ start-dfs.sh

#访问hdfs主页
http://虚拟机ip:9870

#不要忘记关闭hdfs
$ sudo ./stop-dfs.sh

#接下来配置mapred-site.xml
$ cd /opt/modules/hadoop/etc/hadoop
$ vim mapred-site.xml

#在mapred-site.xml中添加如下配置：
	 
        mapreduce.framework.name
        yarn
    
    
        mapreduce.application.classpath
        $HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*
    

$ cd /opt/modules/hadoop/etc/hadoop
$ vim yarn-site.xml
#在yarn-site.xml中添加如下配置：
	
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.nodemanager.env-whitelist       			  JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME
    

#根据文件内容再配置环境变量
$ sudo vim /etc/profile

#对照补充
export JAVA_HOME=/opt/modules/jdk
export CLASSPATH=.:$JAVA_HOME/lib
export HADOOP_HOME=/opt/modules/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop/
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin


#保存并生效
$ source /etc/profile

#在start-yarn.sh中添加配置，并指定用户名
$ cd /opt/modules/hadoop/sbin
$ vim start-yarn.sh

#添加（hadoop为用户名）
	YARN_RESOURCEMANAGER_USER=hadoop
	YARN_NODEMANAGER_USER=hadoop

#启动
$ sudo ./start-yarn.sh
#查看web端口
#http://虚拟机ip:8088

搭建成功！！！！