栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

插入数据到hive hbase映射表报错RegionTooBusy

插入数据到hive hbase映射表报错RegionTooBusy

hive中使用insert select方式将某普通hive表数据写入一张hive hbase映射表,执行速度很慢,拿到其中一个container的日志发现有报错,错误如下:

2022-01-18 17:18:37,730 [INFO] [htable-pool3-t1] |client.AsyncRequestFutureImpl|: id=2, table=test:LCCONT_INS, attempt=6/36, failureCount=251ops, last exception=org.apache.hadoop.hbase.RegionTooBusyException: org.apache.hadoop.hbase.RegionTooBusyException: Over memstor
e limit=512.0M, regionName=d7dda52defa9deae777c045dd674dd98, server=prod-bigdata-pc10,16020,1642399498705	at org.apache.hadoop.hbase.regionserver.HRegion.checkResources(HRegion.java:4379)
	at org.apache.hadoop.hbase.regionserver.HRegion.batchMutate(HRegion.java:3998)

hbase报出RegionTooBusy的错误,并提示Over memstore limit=512.0M,我们将hbase的memstore改大一些试下

注意:我们直接用insert select方式往hive hbase映射表插入数据效率会很慢,这种方式不是走hbase bulkload,所以如果想快速导入需要手写mapreduce通过bulkload方式接入

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/712472.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号