栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Hadoop04【集群环境搭建】,java进阶课程推荐

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hadoop04【集群环境搭建】,java进阶课程推荐

指定副本的存储个数,及secondaryNameNode的存储地址

dfs.replication

1

dfs.secondary.http.address

hadoop-node01:50090

4.mapred-site.xml


首先需要将文件名称修改了。原文件名称为mapred-site.xml.template。指定MapReduce的资源调度方式为yarn。

mapreduce.framework.name

yarn

5.yarn-site.xml


指定ResourceManager(yarn的老大)的地址和reduce获取数据的方式shuffle。

yarn.resourcemanager.hostname

hadoop-node01

yarn.nodemanager.aux-services

mapreduce_shuffle

6.slaves


指定DataNode的地址。

三、内容分发

====================================================================

在hadoop-node01节点配置完成后,我们可以一次性将hadoop文件夹分发给其他几个节点。

scp -r hadoop hadoop-node02:/root/apps/

scp -r hadoop hadoop-node03:/root/apps/

【一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义】

浏览器打开:qq.cn.hn/FTf 免费领取

scp -r hadoop hadoop-node04:/root/apps/

四、环境变量配置

======================================================================

配置hadoop的环境变量,便于操作。

export HADOOP_HOME=/root/apps/hadoop

export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin

其他几个节点分发或者配置下

source /etc/profile

五、HDFS格式化

=======================================================================

只需要在NameNode的节点上面格式化一次就可以了

hadoop namenode -format

注意只需要格式一次,在nameNode上格式化。

六、启动hdfs

======================================================================

在hadoop-node01上执行

start-dfs.sh

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/439699.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号