Hadoop生产调优(个人总结)

    声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识内容详细全面, 言辞官方的文章
              2. 由于是个人总结, 所以用最精简的话语来写文章
              3. 若有错误不当之处, 请指出

服役新节点:

新增hadoop105

# 启动DataNode
hdfs --daemon start datanode
# 启动NodeManager
sbin/yarn-daemon.sh start nodemanager
# 实现集群的数据平衡(这段时间其它工作会被阻塞)
./start-balancer.sh

退役节点:

退役hadoop105

一: 设置白名单法

添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出

配置白名单的具体步骤:

在NameNode的/opt/module/hadoop-3.1.3/etc/hadoop目录下创建dfs.hosts文件

编写: (别写hadoop105)

hadoop102

hadoop103

hadoop104
在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性
	dfs.hosts
	/opt/module/hadoop-3.1.3/etc/hadoop/dfs.hosts
配置文件xsync分发
刷新NameNode
hdfs dfsadmin -refreshNodes
刷新ResourceManager
yarn rmadmin -refreshNodes

二: 设置黑名单法

在黑名单上面的主机都会被强制退出

配置黑名单的具体步骤:

在NameNode的/opt/module/hadoop-3.1.3/etc/hadoop目录下创建dfs.hosts.exclude文件

添加如下主机名称（要退役的节点）

hadoop105
在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性
dfs.hosts.exclude
      /opt/module/hadoop-3.1.3/etc/hadoop/dfs.hosts.exclude
xsync分化配置文件和 dfs.hosts.exclude文件
刷新NameNode
hdfs dfsadmin -refreshNodes
刷新ResourceManager
yarn rmadmin -refreshNodes
注意:

不允许白名单和黑名单中同时出现相同的主机名称

等待退役节点状态为decommissioned(所有块已经复制完成), 才停掉该节点

注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役

NameNode多目录配置(是副本):

hdfs-site.xml


     dfs.namenode.name.dir
     file://${hadoop.tmp.dir}/dfs/name1,file://${hadoop.tmp.dir}/dfs/name2

DataNode多目录配置(不是副本):

hdfs-site.xml


        dfs.datanode.data.dir
	file:///${hadoop.tmp.dir}/dfs/data1, file:///${hadoop.tmp.dir}/dfs/data2

好处: 不同目录挂载到不同磁盘上, 增强IO读写速度提高吞吐量

数据均衡:

hadoop之间数据均衡
磁盘间数据均衡

纠删码:

牺牲时间换取空间, 减少备份, 恢复时需要大量计算

RS-3-2-1024k：使用 RS 编码，每 3 个数据单元，生成 2 个校验单元，共 5 个单元

这 5 个单元中，只要有任意的 3 个单元存在（不管是数据单元还是校验单元，只要
总数=3），就可以得到原始数据。

用纠删码恢复数据需要计算, 所以牺牲了时间

异构存储(冷热数据分离):

存储介质:

RAM_DISK 内存镜像文件系统, 读写最快

SSD 固态硬盘

DISK 机械硬盘

ARCHIVE 并非特定的哪一种存储介质, 它用于存储最冷的文件

存储策略:

压缩:

lzo: 建立索引文件后, 就支持切片了

snappy: 不支持切片, 所以需要从数据源端输出时控制好文件大小的量; 实际工作中用的最多

bzip2:

压缩文件: 要考虑压缩和解压时间, 也要考虑压缩比;

对于不经常使用的文件, 选择压缩比较高的

对于任务间传输, 用snappy或者lzo; 压缩比和压缩解压时间折中, 且还算效率较高

HA高可用:

借助ZooKeeper进行故障转移(主备切换 Active 和 StandBy)

NameNode高可用(即联邦机制),

Hadoop生产调优(个人总结)

大数据系统相关栏目本月热门文章