栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

搭建Hadoop完全分布式集群

搭建Hadoop完全分布式集群

任务2.1已经创建及配置了虚拟机 master,接下来在虚拟机master上做Hadoop的相关配置。首先需要把Hadoop安装包hadoop-2.6.4.tart.gz上传到虚拟机 master 的/opt目录下,然后执行命令“tar -zxf hadoop-2.6.4.tsr.gz -C /usr/local”,将Hadoop安装包解压到虚拟机master的/usr/local目录下。Hadoop配置涉及的文件有7 个:core-site.xml 、 hadoop-env.shyarn-env.sh 、mapred-site.xml、yarn-site.xml、slaves、hdfs-site.xml。这些文件都在/usr/local hadoop-2.6.4/etc/hadoop/目录下,首先要进入该目录,依次修改配置文件如下。

1、修改core-site.xml(要保证spark on yarn的稳定性,避免报错,就必须保证正确的配置,尤其是yarn-site.xml)

 2、修改hadoop-env.sh(配置环境变量)

 3、修改yarn-env.sh(YARN框架运行环境的配置)

 

 4、修改mapred-site.xml(这个是MapReduce的相关配置)

 5、修改 yarn-site.xml(YARN的框架配置)

6、修改slaves(改文件里面保存有slave节点信息) 

         

7、修改hdfs-site.xml(HDFS配置文件 ,NameNode元数据和DataNode数据储存位置。) 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/282862.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号