栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 其他

Hadoop搭建要点及注意事项

其他 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hadoop搭建要点及注意事项

目录

一、Linux的相关配置

1、关闭防火墙

2、关闭selinux

 3、设置IP映射

4、设置SSH免密登录

二、 安装配置JDK

三、安装Hadoop

1、Hadoop版本选择

2、配置文件的修改

3、设置环境变量

4、格式化HDFS文件系统

5、启动集群

四、参考资料


        Hadoop集群的搭建分为几种模式,此处采用完全分布式搭建方式,另可考虑搭建高可用方式。

一、Linux的相关配置

1、关闭防火墙​​​​​​​

        每台机器都需要关闭防火墙及其自启动。

2、关闭selinux

        每台机器都需要关闭selinux。

 3、设置IP映射

         每台机器都需要设置IP映射。

4、设置SSH免密登录

        每台机器都需要设置自身及其它所有机器的免密登录,需要注意以下几点:

        (1)执行相关命令时不要一直执行“回车”确认,有时需要手动输入“yes”才可确认成功;

        (2)要确保相关文件及文件夹的所有者及权限一致且正确,否则不能SSH成功。

5、设置时间同步

        每台机器互相之间应设置时间同步,否则会搭建集群失败。

二、 安装配置JDK

三、安装Hadoop

1、Hadoop版本选择

        Hadoop的版本不一定要最新,要选稳定可用的版本,否则不能启动成功;且Hadoop的版本与后续其它组件的版本有对应关系。

2、配置文件的修改

        在设置修改Hadoop相关配置文件时,我们应注意以下几点:

        (1)设置相关端口时应注意不要发生端口占用及冲突,且Hadoop 3.X端口相比Hadoop 2.X端口已经更改;

        (2)HDFS文件副本数量可自定义,但要小于等于DataNode数;

        (3)配置资源分布时尽量不要使其都分布在一个节点上,因为它们都比较占资源。

3、设置环境变量

4、格式化HDFS文件系统

        如果有多次格式化文件系统,需将DataNode的数据存放目录的版本信息删除以便其保持一致,否则Hadoop会启动失败。

5、启动集群

        可一键启动所有进程,也可单独进行启动。

四、参考资料

大数据学习笔记:Hadoop3.3.0完全分布式集群安装

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/279254.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号