HDFS(分布式存储系统)
NameNode:HDFS集群主节点
SecondaryNamenode:NameNode 的冷备份
DateNode:是 HDFS 集群从节点
YARN（资源管理器）----MapReduce、Storm,spark,flink
ResourceManager
NodeManager
MapReduce(分布式并行计算系统)
1）HDFS的基础架构
2）HDFS的特点
一次写入多次读取 不适合低延迟数据访问 无法高效存储大量小文件 不支持多用户写入及任意修改文件
3）高可用（容灾设计）
在NameNode和DateNode之间维持心跳检测，如果NameNode不能正常收到DataNode的心跳，则认为该节点挂了。NameNode会检索副本数目小于设置值文件块，复制其新的副本，并分发到其他数据节点上。检测文件块的完整性：HDFS会记录每个新创建的文件的所有块的校验，检索时会优先提取校验和记录相同的副本。集群的负载均衡：当某 个数据节点的空闲空间大于一个临界值的时候，HDFS 会自动从其他数据节点迁移数据过来。
4)基本操作
CLI基本操作
创建目录
hdfs dfs -mkdir -p /user/test/input
上传文件
hdfs dfs -put etc/hadoopsession optional pam_loginuid.so/g' /etc/pam.d/sshd
/bin/echo -e "LANG="en_US.UTF-8"" > /etc/default/local
启动服务
/usr/sbin/sshd -D
检测是否可以免密SSH登录localhost,不果不能，则执行以下命令
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
3）域名配置
编辑hosts文件，添加域名：
命令：
vi /etc/hosts
内容：
192.168.31.10 master
192.168.31.11 slave01
192.168.31.12 slave02
4）JDK安装
1.下载JDK1.8安装包,上传至服务器，并解压。
2.环境变量配置
vim /etc/profile
在文件最后添加
export JAVA_HOME=/home/hadoop/java/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin
3.刷新使生效
source /etc/profile
5）Hadoop安装
下载安装包，并解压至服务器。
下载地址：
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
官网下载极慢，建议使用下面链接
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/
6）Hadoop配置
hadoop-env.sh
export JAVA_HOME=/usr/local/software/java8/jdk1.8.0_311/
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
-----------------------------------
core-site.xml
hadoop.tmp.dir
file:/usr/local/hadoop/tmp
Abase for other temporary directories.
fs.defaultFS
hdfs://master:9000
-----------------------------------
hdfs-site.xml
dfs.namenode.name.dir
file:/usr/local/software/hadoop/hadoop-3.3.1/namenode_dir
dfs.datanode.data.dir
file:/usr/local/software/hadoop/hadoop-3.3.1/datanode_dir
dfs.replication
3
dfs.http.address
master:50070
----------------------------------------
mapred-site.xml
mapreduce.framework.name
yarn
yarn.app.mapreduce.am.env
HADOOP_MAPRED_HOME=${HADOOP_HOME}
mapreduce.map.env
HADOOP_MAPRED_HOME=${HADOOP_HOME}
mapreduce.reduce.env
HADOOP_MAPRED_HOME=${HADOOP_HOME}
----------------------------------------
yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.hostname
master
yarn.nodemanager.resource.memory-mb
20480
yarn.scheduler.minimum-allocation-mb
2048
yarn.nodemanager.vmem-pmem-ratio
2.1
------------------------------------
配置域名
修改主节点文件：etc/hadoop/workers，将 localhost 替换成两个 slave 的主机名
slave01
slave02
7)启动hadoop集群
格式化
hdfs namenode -format
启动hdfs集群
sbin/start-dfs.sh
启动yarn集群
sbin/start-yarn.sh
8）踩坑点说明
1.50070端口不能访问 1）hdfs-site.xml天机端口配置2）删除节点数据 3）格式化 4）启动hdfs集群 5）启动yarn集群 2.报错：Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster mapred-site.xml中添加配置： dfs.http.address master:50070 yarn.app.mapreduce.am.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.map.env HADOOP_MAPRED_HOME=${HADOOP_HOME} 3.http://192.168.31.10:50070页面查看文件失败 在客户端机器上，更改C:WindowsSystem32driversetchosts文件，添加hadoop集群域名信息： 192.168.31.10 master 192.168.31.11 slave01 192.168.31.12 slave02 mapreduce.reduce.env HADOOP_MAPRED_HOME=${HADOOP_HOME}
