Hive的Metastore与Hiveserver2

metastore

原生Hive（内嵌模式）采用外部数据库（本地模式）单独起metastore服务（远程模式） Hiveserver2

Derby的内嵌模式：Derby数据库与应用程序共享同一个JVM，通常由应用程序负责启动和停止，对除启动它的应用程序外的其它应用程序不可见，即其它应用程序不可访问它；

不同路径下启动hive，不同路径下都会生成metastore_db文件，每一个路径下的hive拥有一套自己的元数据，无法共享。

spark和Hive一样，都是默认使用derby数据库创建的本地存储。

尝试了一下在同一目录同时启动两个spark-sql，开启第二个客户端会报错（当前目录只能有一个metastore_db）：

Caused by: ERROR XJ040: Failed to start database 'metastore_db' with class loader sun.misc.Launcher$AppClassLoader@3d82c5f3, see the next exception for details.
Caused by: ERROR XSDB6: Another instance of Derby may have already booted the database /home/hadoop/app/spark-2.4.3-bin-hadoop2.6/bin/metastore_db.

创建hive-site.xml文件：

[hadoop@hadoop000 conf]$ cat hive-site.xml 




	javax.jdo.option.ConnectionURL
	jdbc:mysql://hadoop000:3306/hadoop_hive?createDatabaseIfNotExist=true


	javax.jdo.option.ConnectionDriverName
	com.mysql.jdbc.Driver


	javax.jdo.option.ConnectionUserName
	root


	javax.jdo.option.ConnectionPassword
	123456

缺点：每启动一次hive服务，都内置启动了一个metastore，在hive-site.xml中暴露的数据库的连接信息。

在hive-site.xml文件加入：

    hive.metastore.uris
    thrift://hadoop000:9083

启动metastore服务：nohup hive --service metastore &
为了高可用，可启动多个metastore。

开启的进程：

[hadoop@hadoop000 bin]$ jps -m
10626 SecondaryNameNode
10420 DataNode
14006 Jps -m
10280 NameNode
13286 RunJar /home/hadoop/app/hive-1.1.0-cdh5.15.1/lib/hive-service-1.1.0-cdh5.15.1.jar org.apache.hadoop.hive.metastore.HivemetaStore
13836 RunJar /home/hadoop/app/hive-1.1.0-cdh5.15.1/lib/hive-cli-1.1.0-cdh5.15.1.jar org.apache.hadoop.hive.cli.CliDriver --hiveconf hive.aux.jars.path=file:///home/hadoop/app/hive-1.1.0-cdh5.15.1/auxlib/hive-exec-1.1.0-cdh5.15.1-core.jar

metastore服务实际上就是一种thrift服务，通过它我们可以获取到hive原数据，并且通过thrift获取原数据的方式，屏蔽了数据库访问需要驱动，url，用户名，密码等等细节。

命令行

[hadoop@hadoop000 bin]$ ./beeline 
beeline> !connect jdbc:hive2://localhost:10000/default

beeline方式也是通过JDBC连接的，驱动为hive2。

开启的进程：

[hadoop@hadoop000 hive-1.1.0-cdh5.15.1]$ jps -m
10626 SecondaryNameNode
10420 DataNode
14996 Jps -m
10280 NameNode
14163 RunJar /home/hadoop/app/hive-1.1.0-cdh5.15.1/lib/hive-service-1.1.0-cdh5.15.1.jar org.apache.hadoop.hive.metastore.HivemetaStore
14324 RunJar /home/hadoop/app/hive-1.1.0-cdh5.15.1/lib/hive-service-1.1.0-cdh5.15.1.jar org.apache.hive.service.server.HiveServer2 --hiveconf hive.aux.jars.path=file:///home/hadoop/app/hive-1.1.0-cdh5.15.1/auxlib/hive-exec-1.1.0-cdh5.15.1-core.jar
14779 RunJar /home/hadoop/app/hive-1.1.0-cdh5.15.1/lib/hive-beeline-1.1.0-cdh5.15.1.jar org.apache.hive.beeline.BeeLine

Hive的jdbc驱动种类为网络协议驱动。
这种类型的驱动给客户端提供了一个网络API，客户端上的JDBC驱动程序使用套接字（Socket）来调用服务器上的中间件程序，后者再将其请求转化为所需的具体API调用。

Mysql的jdbc驱动种类为本地协议驱动。
这种类型的驱动使用Socket，直接在客户端和数据库间通信。

参考博客：
Hive-元数据
hive安装（内置数据库derby）
Hive安装前扫盲之Derby和metastore

JDBC驱动加载
浅析JDBC四种类型
HiveServer2 架构源码详解
Hive源码剖析之HiveServer2服务启动过程
JDBC原理&浅析HIVE-JDBC