栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

hive部署

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

hive部署

官网

Apache Hive TMhttps://hive.apache.org/

下载安装包

 

 

 

 

 上传
[ssn@ssn9520 ~]$ cd software/
[ssn@ssn9520 software]$ rz

解压
[ssn@ssn9520 software]$ tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /home/ssn/app/

 

修改环境变量
[ssn@ssn9520 ~]$ vi .bashrc
追加
export HIVE_HOME=/home/ssn/app/apache-hive-3.1.2-bin
export PATH=$HIVE_HOME/bin:$PATH
[ssn@ssn9520 ~]$ source .bashrc

 整合mysql

a.hive-site.xml  需要自己添加

我只配置了访问路径 用户名 密码 和连接数据库驱动





  
      javax.jdo.option.ConnectionUserName
      root
  

  
      javax.jdo.option.ConnectionPassword
      root
  

  
      javax.jdo.option.ConnectionURL
      jdbc:mysql://node03:3306/hive?createDatabaseIfNotExist=true&useSSL=false
  

  
      javax.jdo.option.ConnectionDriverName
      com.mysql.jdbc.Driver
  

  
      hive.metastore.schema.verification
      false
  

  
    datanucleus.schema.autoCreateAll
    true
  

  
    hive.server2.thrift.bind.host
    hadoop104
  


 
  hive.metastore.warehouse.dir
  hdfs://hadoop102:9000/user/hive/warehouse
  location of default database for the warehouse


 
   hive.cli.print.header
   true
  
 
   hive.cli.print.current.db
   true
 

[ssn@ssn9520 conf]# pwd
/home/ssn/app/apache-hive-3.1.2-bin/conf
[ssn@ssn9520 conf]# vi hive-site.xml

b.连接mysql数据库的驱动包系统没有内置,需要手动下载,地址如下

jdbc下载地址:Central Repository: mysql/mysql-connector-javahttps://repo1.maven.org/maven2/mysql/mysql-connector-java/

 

 

[ssn@ssn9520 lib]$ rz  

已上传成功

 c.在hive-env.sh.template配置hive_home,如何之前按照步骤配置过环境变量,这一步可以跳过

[ssn@ssn9520 conf]$ vi hive-env.sh.template 
初始化
[ssn@ssn9520 bin]$schematool -dbtype mysql -initSchema

运行之后报错:

 /home/ssn/app/hadoop/share/hadoop/common/lib         hadoop中guava包版本如图

 /home/ssn/app/apache-hive-3.1.2-bin/lib

hive中 guava版本如图

 

 解决方法:将低版本的删除掉,然后将高版本的拷贝过来

然后登录Mysql

mysql -uroot -p

新建Hive元数据库

mysql> create database metastore;
mysql> quit;
初始化Hive元数据库
schematool -initSchema -dbType mysql -verbose

运行

./hive

[ssn@ssn9520 bin]$ ./beeline
beeline> !connect jdbc:hive2://localhost:10000 scott tiger

解决方案: 

原因:hiveserver2增加了权限控制,需要在hadoop的配置文件中配置 

解决方法:在hadoop的core-site.xml中添加如下内容,然后重启hadoop,再使用beeline连接即可

参考官网: Apache Hadoop 3.3.1 – Proxy user - Superusers Acting On Behalf Of Other Users


    hadoop.proxyuser.hadoop.hosts
    *


    hadoop.proxyuser.hadoop.groups
    *

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/685667.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号