栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

HBase集成Hive

HBase集成Hive

1、环境配置 
在$Hbase_HOME/lib目录下创建hive中jar包的软连接
ln -s $Hbase_HOME/lib/hbase-common-1.2.0-cdh5.14.2.jar  $HIVE_HOME/lib/hbase-common-1.2.0-cdh5.14.2.jar
ln -s $Hbase_HOME/lib/hbase-server-1.2.0-cdh5.14.2.jar $HIVE_HOME/lib/hbase-server-1.2.0-cdh5.14.2.jar
ln -s $Hbase_HOME/lib/hbase-client-1.2.0-cdh5.14.2.jar $HIVE_HOME/lib/hbase-client-1.2.0-cdh5.14.2.jar
ln -s $Hbase_HOME/lib/hbase-protocol-1.2.0-cdh5.14.2.jar $HIVE_HOME/lib/hbase-protocol-1.2.0-cdh5.14.2.jar
ln -s $Hbase_HOME/lib/hbase-it-1.2.0-cdh5.14.2.jar $HIVE_HOME/lib/hbase-it-1.2.0-cdh5.14.2.jar
ln -s $Hbase_HOME/lib/htrace-core-3.2.0-incubating.jar $HIVE_HOME/lib/htrace-core-3.2.0-incubating.jar
ln -s $Hbase_HOME/lib/hbase-hadoop2-compat-1.2.0-cdh5.14.2.jar $HIVE_HOME/lib/hbase-hadoop2-compat-1.2.0-cdh5.14.2.jar
ln -s $Hbase_HOME/lib/hbase-hadoop-compat-1.2.0-cdh5.14.2.jar $HIVE_HOME/lib/hbase-hadoop-compat-1.2.0-cdh5.14.2.jar

同时在hive-site.xml中修改zookeeper的属性,如下

    hive.zookeeper.quorum
    hadoop101 


    hive.zookeeper.client.port
    2181

2、在hive中建表,
情况一:这个表需要和hbase中的数据进行映射; 只能创建external non-native table 
create external table hbase_t3(
	id int,
	age int,
	gender string
	name string
    ...
)
STORED BY 'org.apache.hadoop.hive.hbase.HbaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,列族名:列1名,列族名:列2名,列族名:列3名")
TBLPROPERTIES ("hbase.table.name" = "hbase中的表名");
情况二:数据还尚未插入到hbase,可以在hive中建表,建表后,在hive中执行数据的导入
        将数据导入到hbase,再分析。 表必须是managed non-native table!
create table hbase_userinfos(
	userid int,
	username string
    ...
)
STORED BY 'org.apache.hadoop.hive.hbase.HbaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,列族名:列名1")
TBLPROPERTIES ("hbase.table.name" = "hbase中的表名")
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/423186.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号