Hbase的数据刷写

Region 中所有 MemStore 占用的内存超过相关阈值

• hbase.hregion.memstore.flush.size 参数控制，默认为128MB
• 如果我们的数据增加得很快，
  达到了 hbase.hregion.memstore.flush.size * hbase.hregion.memstore.block.multiplier
  的大小，hbase.hregion.memstore.block.multiplier 默认值为4，
  也就是128*4=512MB的时候，
  那么除了触发 MemStore 刷写之外，Hbase 还会在刷写的时候同时阻塞所有写入该 Store 的
  写请求！

整个 RegionServer 的 MemStore 占用内存总和大于相关阈值

• Hbase 为 RegionServer 所有的 MemStore 分配了一定的写缓存（），大小等于
  • hbase_heapsize（RegionServer 占用的堆内存大小）*
    hbase.regionserver.global.memstore.size(默认值是 0.4)。
• 如果整个 RegionServer 的 MemStore 占用内存总和大于阈值将会触发 MemStore 的刷写。
  • hbase.regionserver.global.memstore.size.lower.limit （默认值为 0.95）* MAX_SIZE
• 例如：Hbase 堆内存总共是 32G ，MemStore 占用内存为：32 * 0.4 * 0.95 = 12.16G将触发
  刷写
• 如果达到了 RegionServer 级别的 Flush，当前 RegionServer 的所有写操作将会被阻塞，这
  个阻塞可能会持续到分钟级别。

WAL数量大于相关阈值

• 数据到达 Region 的时候是先写入 WAL，然后再被写到 Memstore 。

• 如果 WAL 的数量越来越大，这就意味着 MemStore 中未持久化到磁盘的数据越来越多。

• 当 RS 挂掉的时候，恢复时间将会变得很长，所以有必要在 WAL 到达一定的数量时进行一次
  刷写操作

• max(32, hbase_heapsize * hbase.regionserver.global.memstore.size * 2 /
  logRollSize)

定期自动刷写

• hbase.regionserver.optionalcacheflushinterval
• 默认值 3600000（即 1 小时），Hbase 定期 Flush 所有 MemStore 的时间间隔。
• 一般建议调大，比如 10 小时，因为很多场景下 1 小时 Flush 一次会产生很多小文件，一方
  面导致 Flush 比较频繁，另一方面导致小文件很多，影响随机读性能

数据更新超过一定阈值

• 如果 Hbase 的某个 Region 更新的很频繁，而且既没有达到自动刷写阀值，也没有达到内存
  的使用限制，但是内存中的更新数量已经足够多
• 比如超过 hbase.regionserver.flush.per.changes 参数配置，默认为30000000，那么也是会
  触发刷写的。

手动触发刷写

• Shell 中通过执行 flush 命令

• hbase> flush ‘TABLENAME’
  hbase> flush ‘REGIONNAME’
  hbase> flush ‘ENCODED_REGIONNAME’
  hbase> flush ‘REGION_SERVER_NAME’

特别注意

• 以上所有条件触发的刷写操作最后都会检查对应的 HStore 包含的 StoreFiles 文件数是否超过
  hbase.hstore.blockingStoreFiles 参数配置的个数，默认值是16。
• 如果满足这个条件，那么当前刷写会被推迟到hbase.hstore.blockingWaitTime 参数设置的时
  间后再刷写。
• 在阻塞刷写的同时，Hbase 还会请求 Compaction 或者Split 操作。

• MemStore 刷写是 Region 级别的。就是说，如果要刷写某个 MemStore ，MemStore 所在
  的 Region 中其他 MemStore 也是会被一起刷写的

• FlushAllStoresPolicy
  • 每次刷写都是对 Region 里面所有的 MemStore 进行的
• FlushAllLargeStoresPolicy
  • 判断 Region 中每个 MemStore 的使用内存是否大于某个阀值,大于这个阀值的
    MemStore 将会被刷写。
  • flushSizeLowerBound = max((long)128 / 3, 16) = 42
• FlushNonSloppyStoresFirstPolicy

• 刷写的第一步是对 MemStore 做 snapshot
• 为了防止刷写过程中更新的数据同时在 snapshot 和 MemStore 中而造成后续处理的困难
• 所以在刷写期间需要持有 updateLock 。持有了 updateLock 之后，这将阻塞客户端的写操
  作。
• 所以只在创建 snapshot 期间持有 updateLock
• 而且 snapshot 的创建非常快，所以此锁期间对客户的影响一般非常小。
• 对 MemStore 做 snapshot 是 internalPrepareFlushCache 里面进行的。

• 如果创建快照没问题
• 那么返回的 result.result 将为 null。
• 这时候我们就可以进行下一步 internalFlushCacheAndCommit。
• 其实 internalFlushCacheAndCommit 里面包含两个步骤：flushCache 和 commit 阶段。
  • flushCache 阶段:
    其实就是将 prepareFlush 阶段创建好的快照写到临时文件里面，
    临时文件是存放在对应 Region 文件夹下面的 .tmp 目录里面
  • commit 阶段：
    将 flushCache 阶段生产的临时文件移到（rename）对应的列族目录下面，
    并做一些清理工作，比如删除第一步生成的 snapshot。