栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hadoop的伪分布式配置

hadoop的伪分布式配置

前提:需要有hadoop用户 如果没有 创建一个 并且用chown指令 设置所有者的关联
在hadoop/etc/文件下 ,修改如下 配置文件
1 配置 core-site.xml 配置默认文件系统位置


fs.defaultFS
hdfs://localhost:9000


hadoop.tmp.dir
/home/hadoop/tmp


2配置hdfs-site.xml 配置hdfs副本数量 一般情况下value标签里是3,但是这里是伪分布式 所以 填1


dfs.replication
1

3配置hadoop-env.sh
export JAVA_HOME=jdk的实际位置 如:
export JAVA_HOME= /usr/lib/jvm/java-open

4配置yarn-site.xml

yarn.nodemanager.aux-services mapreduce_shuffle

5配置mapred-site.xml
需要cp复制一个模板 模板在/etc/hadoop/mapred-site.xml.template
复制到/etc/hadoop/mapred-site.xml
配置 复制过来的xml文件

mapreduce.framework.name yarn

6 切换hadoop 用户
sudo -l 用户名

7 初始化hadoop (格式化,该指令用多了 会导致namenode 和 datanode 不同步)
hdfs namenode -format

8 启动hadoop守护进程
start-dfs.sh

9 jps 查看是否正常启动
正常启动后有以下三个进程
NameNode
DataNode
SecondaryNameNode
如果 进程不满足
stop-dfs.sh 关闭 7、8、9几个步骤重复使用

如果依然启动失败的话
只能去logs里查看运行日志

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/630351.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号