栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hbase读写性能常用参数调优

hbase读写性能常用参数调优

hbase读写性能常用参数 1、blockcache 作用–读性能

参数:hfile.block.cache.size ##blockcache占用JVM的内存百分比,默认0.4

2、memstore 作用-- 写性能

参数:

hbase.hregion.memstore.flush.size 到达此值就会flush落盘,默认128M,可调256M,即268435456
hbase.hregion.memstore.block.multiplier 默认是4 ,即写入一个region中的所有memstore总和到达hbase.hregion.memstore.flush.size * hbase.hregion.memstore.block.multiplier 阈值,就会flush

hbase.regionserver.global.memstore.size 默认0.4,即占用总JVM的内存百分比大小,若regionserver上所有的memstore到这个值,就会阻塞写入,强制flush,非常重要

hbase.regionserver.global.memstore.size.lower.limit 默认0.95,表示到hbase.regionserver.global.memstore.size的百分比后,就会对最大的memstore 进行flush

hbase.regionserver.optionalcacheflushinterval 标识memstore强制刷写时间,默认1H

3、compaction 合并性能

参数

hbase.hstore.compactionThreshold 表示store中文件到这个数量就进行合并,默认是3,可以调整,参考值10

hbase.hstore.compaction.max 最大可参与minor的文件数,默认是10 ,参考值20

hbase.hstore.blockingStoreFiles 一个store中文件数超过这个值,则所有更新阻塞 ,默认是15,参考值 30
hbase.hregion.majorcompaction major合并周期。一般都是0.即禁用

hbase.regionserver.thread.compaction.throttle 区分大小文件,用来判定执行large或者small,默认2G,生产要放大
hbase.regionserver.thread.compaction.large 大文件的执行线程数,默认是5
hbase.regionserver.thread.compaction.small 小文件的执行线程数 ,默认是10

3-1关于线程的参数修改后可以立即生效,不需要重启RS,具体操作为 hbase shell中执行update_config或者update_all_config即可生效 4、hlog

参数

hbase.regionserver.maxlogs ##wal文件超过该值,就会强制flush。默认32

5、hbase jvm

数值不宜太大,内存配的太大full GC时间会很久,影响业务,目前配置48G

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/676932.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号