Hive-3.0.0完全分布式部署

需要安装好了jdk环境、mysql、以及全分布的Hadoop集群

将安装包解压到 /opt 目录下

tar -zxf apache-hive-3.0.0-bin.tar.gz -C /opt

配置环境变量

vi /etc/profile

export HIVE_HOME=/opt/hive-3.0.0-bin
export PATH=${HIVE_HOME}/bin:$PATH 

使环境变量生效

soure /etc/profile

使用mysql存储hive元数据

## 创建hive数据库
create database hive;

## 创建hive用户并设置密码
create user 'hive'@'%' identified by 'hive';

## 授权
grant all privileges on hive.* to 'hive'@'%';

## 刷新权限
flush privileges;

修改hive配置文件

vi hive-site.xml

  
    hive.default.fileformat
    TextFile
  
  
    javax.jdo.option.ConnectionURL
    jdbc:mysql://192.168.18.237:3306/hive?createDatabaseIfNotExist=true&useSSL=false
  
  
    javax.jdo.option.ConnectionDriverName
    com.mysql.jdbc.Driver
  
  
    javax.jdo.option.ConnectionUserName
    hive
  
  
    javax.jdo.option.ConnectionPassword
    hive
  
  
    hive.metastore.schema.verification
    false
  

将mysql 连接jar包上传到hive的lib目录

mv mysql-connector-java.jar /opt/hive-3.0.0-bin/lib

初始化hive元数据库

/opt/hive-3.0.0-bin/bin/schematool  -initSchema -dbType mysql

登录hive

hive

将文件分发给其他节点

scp -r /opt/hive-3.0.0-bin @node1:/opt
scp -r /opt/hive-3.0.0-bin @node2:/opt

环境变量

vi /etc/profile

export HIVE_HOME=/opt/hive-3.0.0-bin
export PATH=${HIVE_HOME}/bin:$PATH 

使环境变量生效

soure /etc/profile

不对配置文件做修改，使用默认的Local模式连接元数据库，通过JDBC访问mysql。

使用Remote模式连接元数据。方法如下：

修改配置文件

在hive-site.xml 文件中加入

        hive.metastore.uris
        thrift://192.168.18.237:9083
 

此时，Hive 的元数据连接方式变为 Remote 模式，即使用 HivemetaStoreClient 远程访问节点3的9083端口，获取元数据信息。

在237节点启动metastore服务

nohup hive --service metastore &

此时在node节点就可以连接到元数据库

检测

hive

不开启连接不到元数据库，查看数据库时会报错

Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHivemetaStor