栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Spark bulkload一些问题

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Spark bulkload一些问题

1,版本问题
//hbase 2.1.10
val load = new LoadIncrementalHFiles(HBaseConfiguration.create())
load.doBulkLoad(new Path(tmpdir), conn.getAdmin, table, regionLocator)

//hbase 2.3.5
val load = new BulkLoadHFilesTool(HBaseConfiguration.create())
load.doBulkLoad(new Path(tmpdir), conn.getAdmin, table, regionLocator)

2,reduce问题

spark bulkload 数据到hbase 遇到这样的问题,为了更好的平移至hbase数据库 spark写入的并行度和
hbase的region个数保持了一致 这样也存在一个问题
如果hbase的region个数不够 并行度就小了 假如数据量大的情况下
并行度又比较小 容易造成oom 遇到这种情况怎么办?

bulk load的map阶段是很快的,但是reduce阶段慢的一批,看了下是hbase给我们提供了reduce,也就是我们无法更改reduce的数量,但是,这样就会造成严重的效率低下的 问题。

如何解决:就是建表的时候进行合理的预分区,预分区数量决定reduce的数量(预分区+1 = reduce),预分区越多,自然效率就提高了。 hbase如何预分区?

hbase shell

CREATE 'TABLE TEST.TEST_REGION','i',{SPLIT=>['1','2','3','4','5','6']}

phoenix

CREATE TABLE TEST.TEST_REGION (
     "rk" VARCHAR NOT NULL PRIMARY KEY,
     "i"."sha1" VARCHAR,
     "i"."task_type" VARCHAR,
     "i"."task_id" BIGINT,
     "i"."task_createtime" BIGINT
)column_encoded_bytes=0 SPLIT ON ('1','2','3','4','5','6');

这样预分区6个,reduce数量就为 6+1 速度就快起来


3,数据量过大问题(32 hfile)

日志信息

Exception in thread "main" java.io.IOException: Trying to load more than 
32 hfiles to one family of one region
	at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.doBulkLoad
	(LoadIncrementalHFiles.java:377)
	at hbase_Insert.Hbase_Insert.main(Hbase_Insert.java:241)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(

分析:
就是超过了32个hfile的大小的数据量 导入到了hbase的一个region里面,超过了hbase默认规定的数据量大小。

解决

hbase.hregion.max.filesize
单个ColumnFamily的region大小,若按照ConstantSizeRegionSplitPolicy策略,超过设置的该值则自动split 默认的大小是1G hbase.mapreduce.bulkload.max.hfiles.perRegion.perFamily

允许的hfile的最大个数,默认配置是32 也就是说:这两个参数的默认值决定了,每次批量入库的数据量不能超过1*32也就是32个G,超过这个数量就会导致入库失败

在hbase-site.xml里面针对这两个参数进行设置 (一劳永逸)



	hbase.hregion.max.filesize 
	10737418240 
 

 
	hbase.mapreduce.bulkload.max.hfiles.perRegion.perFamily 
	3200

或者可以在代码里

     val conf: Configuration = HBaseConfiguration.create()
     
    //为了预防hfile文件数过多无法进行导入,设置该参数值
    conf.setInt("hbase.hregion.max.filesize", 10737418240)
    conf.setInt("hbase.mapreduce.bulkload.max.hfiles.perRegion.perFamily", 3200)

4,找不到 HBaseConfiguration

bug

java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration

解决

1,hadoop-env.sh 添加:export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/export/server/hbase-1.3.1/lib/*

2,yarn-site.xml 中 yarn.application.classpath属性中加入hbase-1.3.1/lib/*

 
	yarn.application.classpath 
	
	$HADOOP_CONF_DIR,/usr/hdp/${hdp.version}/hadoop-client/*, hbase-1.3.1/lib/*
	 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/946407.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号