版本3.x
开始时间2021年11月6日18:09:08
环境搭建踩坑：虚拟机网络配置完后，windows能ping通，远程登录拒绝。关闭虚拟机后仍然可以ping通，发现虚拟机设置的是windows中已经存在的ip，修改虚拟机ip后重试登录成功
Hadoop目录
（1）bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本
（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
（4）sbin目录：存放启动或停止Hadoop相关服务的脚本
（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例
Hadoop3.x组成
MapReduce计算
1.Map阶段并行处理数据输入
2.Reduce阶段对Map阶段结果进行汇总
Yarn资源调度
HDFS数据存储
1.NameNode 存储文件的元数据，如文件名、目录结构、文件属性，以及每个文件的块列表和所在块的DataNode等。
2.DataNode 存储文件块数据，块数据的校验和。
3.Secondary NameNode(2nn) 每隔一段时间对NameNode元数据进行备份。
Common辅助工具
HDFS、YARN、MapReduce三者关系
集群配置
