Hadoop伪分布部署

温馨提示：配置时候一定要细心！！！

安装jdk、Hadoop

主要配置文件 ：core-site.xml、mapred-site.xml、yarn-site.xml、hdfs-site.xml

1. 修改主机名sudo vi /etc/hostname,保存后重启。(根据需要判断是否需要修改主机名)

2. 映射ip地址及主机名

   sudo vi /etc/hosts添加 本机ip 主机名。

     不知道主机名终端输入hostname查看主机名。
   

3. 免密登录

   • 检查系统是否安装openssh-client和openssh-server:sudo dpkg -l|grep ssh

   • 如果没有，进行安装：sudo apt-get install openssh-client、sudo apt-get install openssh-server(少哪个安装哪个)

   • 安装成功后进行重启ssh服务：sudo /etc/init.d/ssh restart

   • 配置ssh

     1. 生成密钥对：ssh-keygen -t rsa
     2. 追加公钥：ssh-copy-id -i ~/.ssh/id_rsa.pub 主机名
     3. 免密登录：ssh 主机名

   注意:在进行ssh登录时要区分root用户和普通用户

4. 设置Hadoop配置文件

   etc/hadoop/core-site.xml:

   
       
           fs.defaultFS
           hdfs://localhost:9000
       
       
       
           hadoop.tmp.dir
     /home/hadoop01/hadoop/tmp
       
   
   

   etc/hadoop/hdfs-site.xml:

   
       
           dfs.replication
           1
       
   
   

   etc/hadoop/yarn-site.xml:

    
         
             yarn.nodemanager.aux-services
             mapreduce_shuffle
         
     
   

   etc/hadoop/mapred-site.xml:

   
       
           mapreduce.framework.name
           yarn
       
   
   

5. 格式化NameNode：hdfs namenode -format

6. 启动HDFS：start-dfs.sh,查看启动的Java进程：jps

7. 启动YARN：start-yarn.sh,查看启动的Java进程：jps

1. HDFS Web界面：浏览器中输入 http://localhost:9870

2. YARN Web界面：浏览器中输入 http://localhost:8088

• 1. openssh-server安装时，包之间的依赖关系出现问题。

  解决办法：将openssh-client 卸载再重新安装。

• 2. Hadoop安装版本过高，配置文件时出错。

  解决办法：官网找相应配置：http://www.apache.org/

发现好多知识是需要自己探索的。多看，多思考，多操作。操作的时候可能按步骤操作，但往往就是会出错，所以配置这个东西一定一定要细心！！！！如有错误，欢迎指正。