栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Hadoop伪分布式配置

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hadoop伪分布式配置

1. 静态IP设置(Ubuntu18往上):https://blog.csdn.net/D___H/article/details/121103655
2. 免密登录配置:https://blog.csdn.net/D___H/article/details/121124587
3. 安装Java并配置环境变量:https://blog.csdn.net/D___H/article/details/121082585
4. 安装Hadoop、配置环境变量、修改配置文件:
     (1) 配置Hadoop环境变量:

# Java的安装目录
export JAVA_HOME=/usr/local/jdk-11
# 将Java同Hadoop的安装路径加入到用户的PATH变量中
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# Java类路径
export CLASSPATH=.:$JAVA_HOME/lib
# Hadoop的安装目录
export HADOOP_HOME=~/software/hadoop-2.7.6
# 使.bashec生效
fu@hadoop1:~$ source .bashrc

     (2) 修改配置文件(你的Hadoop安装目录/etc/hadoop/需要修改的配置文件):
          a. 修改hadoop-env.sh文件:修改JAVA_HOME和HADOOP_CONF_DIR,只能配具体的路径,千万不要偷懒直接使用$JAVA_HOME和$HADOOP_HOME。

# 使配置生效
source hadoop-env.sh

          b. 修改core-site.xml配置文件:


		
        
                fs.defaultFS
                hdfs://hadoop1:9000
        
        
        
                hadoop.tmp.dir
                /home/fu/software/hadoop-2.7.6/tmp
        


          c. 修改hdfs-site.xml配置文件:


		
		
        
                dfs.replication
                1
        

          d. 修改mapred-site.xml配置文件:

# 利用模板"mapred-site.xml.template"复制出"mapred-site.xml"
fu@hadoop1:~$ cp mapred-site.xml.template mapred-site.xml

		
        
                mapreduce.framework.name
                yarn
        


          e. 修改yarn-site.xml配置文件:




		
        
                yarn.resourcemanager.hostname
                hadoop1
        
        
        
                yarn.nodemanager.aux-services
                mapreduce_shuffle
        



          f. 修改slaves文件:增添hadoop1节点信息

localhost
hadoop1

     (3) 格式化NameNode:

# 因为我是非root用户,所以需要修改权限
fu@hadoop1:~$ sudo chmod -R 777 had*
fu@hadoop1:~$ hadoop namenode -format

     (4) 启动Hadoop:

fu@hadoop1:~$ start-all.sh
# 如果发现有6个进程,那就配置成功!
fu@hadoop1:~$ jps
8224 SecondaryNameNode
8598 NodeManager
8374 ResourceManager
8007 DataNode
9037 Jps
7630 NameNode

     (4) 停止Hadoop

fu@hadoop1:~$ stop-all.sh
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/601397.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号