在 Hive 3.0 中，JdbcStorageHandler 可以把任何数据库中的表或者视图映射为 Hive 数据库中的外部表，然后可以像普通表一样执行 SELECt 操作，和其他表 join 操作。但是不能插入数据，现在 JdbcOutputFormat 的 getHiveRecordWriter 方法现在抛出异常（“Write operations are not allowed”）。
先把相应数据库的 jdbc 驱动放到 ${HIVE_HOME}/lib以下操作以 MYSQL 为例，把 mysql-connector-java.jar 拷贝到目录。
MYSQL 数据库端操作连接 MYSQL 数据库后，执行以下语句：
create database test; create table test.t1(c1 int); insert into test.t1 values(1),(2);在 Hive 环境中执行以下语句：
注意替换相应的 url, username,password 字段。注意：新版的MySQL 驱动改为 com.mysql.cj.jdbc.Driver, 原来是 com.mysql.jdbc.Driver, 使用原来的驱动，也能执行，第一次有告警信息。
CREATE EXTERNAL TABLE t1(c1 INT) STORED BY 'org.apache.hive.storage.jdbc.JdbcStorageHandler' TBLPROPERTIES ( "hive.sql.database.type"="MYSQL", "hive.sql.jdbc.driver" = "com.mysql.cj.jdbc.Driver", "hive.sql.jdbc.url" = "jdbc:mysql://localhost/metastore", "hive.sql.table" = "t1", "hive.sql.dbcp.username" = "root", "hive.sql.dbcp.password" = "mysql_password" );show create table
hive> show create table t1; OK CREATE EXTERNAL TABLE `t1`( `c1` int COMMENT 'from deserializer') ROW FORMAT SERDE 'org.apache.hive.storage.jdbc.JdbcSerDe' STORED BY 'org.apache.hive.storage.jdbc.JdbcStorageHandler' WITH SERDEPROPERTIES ( 'serialization.format'='1') TBLPROPERTIES ( 'bucketing_version'='2', 'hive.sql.database.type'='MYSQL', 'hive.sql.dbcp.password'='mysql_password', 'hive.sql.dbcp.username'='root', 'hive.sql.jdbc.driver'='com.mysql.cj.jdbc.Driver', 'hive.sql.jdbc.url'='jdbc:mysql://localhost/metastore', 'hive.sql.table'='t1', 'last_modified_by'='houzhizhen', 'last_modified_time'='1647859796', 'transient_lastDdlTime'='1647859796')检索数据测试
hive> select * from t1; OK 1 2其他TBLIPROPERTIES 参数
| 属性名 | 解释 |
|---|---|
| hive.sql.jdbc.query | 查询语句(在 Hive3.1.2 版本中没有使用，可以在后端数据库中创建视图，在 Hive 中映射视图) |
| hive.sql.jdbc.fetch.size | 一次性传输记录数 |
| hive.sql.column.mapping | Hive 字段和后端数据库字段映射(不太好用，用 query 实现) |
多个列用逗号分割，对于每个列有两个列名，用‘=’ 分割，前面是 hive 的列名，后面是后端数据库的列名。以下示例把后端数据库的 c1 列映射为 Hive 的 c2 列。
CREATE EXTERNAL TABLE t1_1(c2 INT) STORED BY 'org.apache.hive.storage.jdbc.JdbcStorageHandler' TBLPROPERTIES ( "hive.sql.database.type"="MYSQL", "hive.sql.jdbc.driver" = "com.mysql.jdbc.Driver", "hive.sql.jdbc.url" = "jdbc:mysql://localhost/metastore", "hive.sql.table" = "t1", "hive.sql.dbcp.username" = "root", "hive.sql.dbcp.password" = "mysql_password", "hive.sql.column.mapping" = "c2=c1" );
进行测试
select * from t1_1;
