实现hive表和hbase表 join 获取我想要的结果表
-- zookeeper地址
SET hbase.zookeeper.quorum=192.168.0.7;
-- hbase在zk上注册的路径
SET zookeeper.znode.parent=/hbase;
-- 应该不用添加 本来就在hive的lib下
ADD jar /cloud/service/apache-hive-2.3.6-hdp-2.1.3-bin/lib/hive-hbase-handler-2.3.6-hdp-2.1.3.jar;
-- 报错:java.lang.ClassNotFoundException: org.apache.hadoop.hbase.mapreduce.TableInputFormatbase 是因为hive找不到hbase的jar包
-- 解决: hive加载hbase的jar 使用方法: 把hbase/lib下所有jar放到hive/auxlib下 参考:https://blog.csdn.net/qianshangding0708/article/details/50381966
-- 坑: 公司数据计算平台应该是复用了hive cli,所以导致jar包配好后,让然报错找不到类,解决方法是进容器,手动hive命令行运行.注意选对yarn队列: set spark.yarn.queue=fcqueue;
-- 注意: 建表语句中bigint写成int会返回null而不是数值. hbase中dossier数据
-- hdfs上的hbase数据作为hive外部表的数据.
drop table if exists hpfd;
CREATE EXTERNAL TABLE hpfd (
did bigint,
label bigint
) STORED BY 'org.apache.hadoop.hive.hbase.HbaseStorageHandler' WITH SERDEPROPERTIES("hbase.columns.mapping" = "
