快速导航
hdfs纠删码
说明
- 本博客每周五更新一次。
- 纠删码是hadoop3提供新的数据备份方案，和原副本方向相比，通过计算方式，使用更少的存储，以达到数据安全的目标。
- 纠删码策略以路径设置单元，该路径下所有存储文件，都以设置策略存储，默认RS-6-3-1024k。如使用其他策略需提前开启。
- 当某节点数据单元或效验单元丢失，总数据单元和效验单元数不低于可恢复数，hadoop集群将在一段时间后，自动恢复该节点数据。
分享
记录
命令
- 纠删码命令：hdfs ec
- 查看支持的纠删码编码：hdfs ec -listPolicies
- 开启RS-3-2-1024k策略：hdfs ec -enablePolicy -policy RS-3-2-1024k
纠删码类型
- 纠删码当前有5种格式，每种都有各自的特色。数据可恢复最低数，为集群服务器最小数。
| 名称 | 算法 | 数据单元个数 | 效验单元个数 | 总数 | 最低数 | 单元大小 |
|---|
| RS-3-2-1024k | rs | 3 | 2 | 5 | 3 | 1024k=1024*1024=1048576 |
| RS-10-4-1024k | rs | 10 | 4 | 14 | 10 | 1024k=1024*1024=1048576 |
| RS-6-3-1024k(默认) | rs | 6 | 3 | 9 | 6 | 1024k=1024*1024=1048576 |
| RS-LEGACY-6-3-1024k | rs-legacy | 6 | 3 | 9 | 6 | 1024k=1024*1024=1048576 |
| XOR-2-1-1024k | xor | 2 | 1 | 3 | 2 | 1024k=1024*1024=1048576 |
设置纠删码策略
- 纠删码策略默认只开启 RS-6-3-1024k，要使用其他策略需要先开启。
- 将/input目录设置为RS-3-2-1024k策略
- 开启RS-3-2-1024支持：hdfs ec -enablePolicy -policy RS-3-2-1024k，disable改为enable
- hdfs创建目录，并设置RS-3-2-1024k
- 创建目录：hadoop fs -mkdir /input
- 设置策略：hdfs ec -setPolicy -path /input -policy RS-3-2-1024k
结论
- 纠删码和副本是两种不同数据安全策略，没有绝对的好坏，具体根据集群情况而定，如果集群存储多计算少，使用副本方案，存储少计算多使用纠删码。
