hadoop是一个开源的大数据框架;hadoop是一个的分布式计算的解决方案;hadoop=HDFS(分布式文件操作系统)+MapReduce(分布式计算)。其中HDFS分布式文件系统中存储是大数据技术的基础;MapReduce编程模型中分布式计算是大数据应用的解决方案。
在CentOS中搭建一个节点的hadoop,如果需要多个节点进行克隆时需要几个节点就克隆几个。
如下为搭建hadoop的步骤
1.确认安装的虚拟机可以上网,通过Ping百度或其他网址来进行测试
2.安装 epel-release
3.关闭防火墙,关闭防火墙开机自启
4.创建 hadoop 用户,并修改 hadoop 用户的密码
5.配置 hadoop 用户具有 root 权限,方便后期加 sudo 执行 root 权限的命令
进入如下界面
6.在/opt 目录下创建文件夹,并修改所属主和所属组
7.卸载虚拟机自带的 JDK
8.以 Master 节点为模板克隆 Slave 节点,并修改所克隆节点的 IP 地址
9.修改主机名称,配置 Linux 克隆机主机名称映射 hosts 文件,打开/etc/hosts
10.修改 windows 的主机映射文件(hosts 文件)
11.在 Slave1 安装 JDK
① 卸载虚拟机自身所带 JDK
② 在 root 下通过拖拽的方式将 JDK 导入到 opt 目录下面的 software 文件夹下面
③ 在 Linux 系统下的 opt 目录中查看软件包是否导入成功
④ 解压 JDK 到/opt/module 目录下
⑤ 配置 JDK 环境变量,使变量成功,并查看是否配置成功
12.在 Slave1 中安装 hadoop
①将 hadoop-3.3.0.tar.gz 导入到 opt 目录下面的 software 文件夹下面,进入
到 Hadoop 安装包路径下,解压安装文件到/opt/module 下面。
②查看是否解压成功
③将 Hadoop 添加到环境变量
④使环境变量生效
⑤查看 hadoop 目录结构
⑥核心配置文件,配置 core-site.xml,hdfs-site.xml 俩个文件



