指定副本的存储个数,及secondaryNameNode的存储地址
dfs.replication
1
dfs.secondary.http.address
hadoop-node01:50090
4.mapred-site.xml
首先需要将文件名称修改了。原文件名称为mapred-site.xml.template。指定MapReduce的资源调度方式为yarn。
mapreduce.framework.name
yarn
5.yarn-site.xml
指定ResourceManager(yarn的老大)的地址和reduce获取数据的方式shuffle。
yarn.resourcemanager.hostname
hadoop-node01
yarn.nodemanager.aux-services
mapreduce_shuffle
6.slaves
指定DataNode的地址。
三、内容分发
====================================================================
在hadoop-node01节点配置完成后,我们可以一次性将hadoop文件夹分发给其他几个节点。
scp -r hadoop hadoop-node02:/root/apps/
scp -r hadoop hadoop-node03:/root/apps/
【一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义】 浏览器打开:qq.cn.hn/FTf 免费领取
scp -r hadoop hadoop-node04:/root/apps/
四、环境变量配置
======================================================================
配置hadoop的环境变量,便于操作。
export HADOOP_HOME=/root/apps/hadoop
export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin
其他几个节点分发或者配置下
source /etc/profile
五、HDFS格式化
=======================================================================
只需要在NameNode的节点上面格式化一次就可以了
hadoop namenode -format
注意只需要格式一次,在nameNode上格式化。
六、启动hdfs
======================================================================
在hadoop-node01上执行
start-dfs.sh



