栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

用CentOS搭建hadoop

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

用CentOS搭建hadoop

hadoop是一个开源的大数据框架;hadoop是一个的分布式计算的解决方案;hadoop=HDFS(分布式文件操作系统)+MapReduce(分布式计算)。其中HDFS分布式文件系统中存储是大数据技术的基础;MapReduce编程模型中分布式计算是大数据应用的解决方案。
在CentOS中搭建一个节点的hadoop,如果需要多个节点进行克隆时需要几个节点就克隆几个。
如下为搭建hadoop的步骤
1.确认安装的虚拟机可以上网,通过Ping百度或其他网址来进行测试

2.安装 epel-release

3.关闭防火墙,关闭防火墙开机自启

4.创建 hadoop 用户,并修改 hadoop 用户的密码

5.配置 hadoop 用户具有 root 权限,方便后期加 sudo 执行 root 权限的命令

进入如下界面

6.在/opt 目录下创建文件夹,并修改所属主和所属组



7.卸载虚拟机自带的 JDK

8.以 Master 节点为模板克隆 Slave 节点,并修改所克隆节点的 IP 地址

9.修改主机名称,配置 Linux 克隆机主机名称映射 hosts 文件,打开/etc/hosts


10.修改 windows 的主机映射文件(hosts 文件)

11.在 Slave1 安装 JDK
① 卸载虚拟机自身所带 JDK
② 在 root 下通过拖拽的方式将 JDK 导入到 opt 目录下面的 software 文件夹下面

③ 在 Linux 系统下的 opt 目录中查看软件包是否导入成功

④ 解压 JDK 到/opt/module 目录下

⑤ 配置 JDK 环境变量,使变量成功,并查看是否配置成功



12.在 Slave1 中安装 hadoop
①将 hadoop-3.3.0.tar.gz 导入到 opt 目录下面的 software 文件夹下面,进入
到 Hadoop 安装包路径下,解压安装文件到/opt/module 下面。

②查看是否解压成功

③将 Hadoop 添加到环境变量


④使环境变量生效

⑤查看 hadoop 目录结构

⑥核心配置文件,配置 core-site.xml,hdfs-site.xml 俩个文件


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/704283.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号