栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop04【集群环境搭建】

Hadoop04【集群环境搭建】

进入hadoop目录中

目录结构介绍

| 目录 | 说明 |

| — | :-- |

| bin | 自身的一些操作命令 |

| etc | 配置文件在该目录下 |

| include | c语言本地库的一些东邪 |

| lib | 本地库 |

| libexec | 目录下存放的是hadoop的配置脚本 |

| sbin | 系统管理启动的命令 |

| share | 文档和相关jar包 |

二、修改配置文件

======================================================================

hadoop配置文件存放在etc/hadoop文件夹下,

1.hadoop-env.sh


设置具体的jdk路径,路径需要写死,因为在集群环境中通过$JDK_HOME获取不到系统环境变量中的信息。

2.core-site.xml


指定NameNode的地址和hadoop运行时产生文件的存储目录。

fs.defaultFS

hdfs://hadoop-node01:9000

hadoop.tmp.dir

/root/apps/hadoop/hdfsdata

3.hdfs-site.xml


指定副本的存储个数,及secondaryNameNode的存储地址

dfs.replication

1

dfs.secondary.http.address

hadoop-node01:50090

4.mapred-site.xml


首先需要将文件名称修改了。原文件名称为mapred-site.xml.template。指定MapReduce的资源调度方式为yarn。

mapreduce.framework.name

yarn

5.yarn-site.xml


指定ResourceManager(yarn的老大)的地址和reduce获取数据的方式shuffle。

yarn.resourcemanager.hostname

hadoop-node01

yarn.nodemanager.aux-services

mapreduce_shuffle

6.slaves


指定DataNode的地址。

三、内容分发

====================================================================

在hadoop-node01节点配置完成后,我们可以一次性将hadoop文件夹分发给其他几个节点。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/700453.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号