栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Hive-3.1.3安装配置MYSQL元数据存储

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hive-3.1.3安装配置MYSQL元数据存储

HIVE-3.1.3安装
  • 目标
  • 环境准备
  • 软件版本
  • 一、HIVE安装
    • 1. 配置hive环境变量
    • 2. 修改配置文件
    • 3. 初始化
    • 4. 测试

目标

安装hive,将元数据存放到mysql。

环境准备
  • 配置好了hadoop环境

  • 安装了mysql

  • java8环境变量

软件版本
  • hadoop-3.3.3

  • mysql-5.7

  • jdk8

  • hive-3.1.3

  • centos 7

hive-3.1.3阿里云镜像下载地址

一、HIVE安装 1. 配置hive环境变量
  1. 解压到指定目录下
tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /usr/local/src
  1. 配置环境变量
vi /etc/profile

# 添加以下内容
export HIVE_HOME=/usr/local/src/apache-hive-3.1.3-bin/
export PATH=$PATH:$HIVE_HOME/bin

  1. 检测环境变量是否配置成功
hive --version

2. 修改配置文件
  1. 修改hive-site.xml文件
cd $HIVE_HOME/conf

# 由于没有hive-site.xml
# 可以复制从hive-default.xml.template复制一个出来然后修改
# 或者是自己新建一个,这里选择自己新建一个
vi hive-site.xml
  1. 添加以下内容



	
    
        javax.jdo.option.ConnectionURL
        
        jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&useSSL=false
    
    
    
        javax.jdo.option.ConnectionDriverName
        com.mysql.jdbc.Driver
    
    
    
        javax.jdo.option.ConnectionUserName
        root
    
    
    
        javax.jdo.option.ConnectionPassword
        123456
    

3. 初始化
  1. 将mysql驱动包mysql-connector-java-5.1.38.jar复制到lib目录下

mysql-connector-java-5.1.38.jar下载地址

cd $HIVE_HOME

cp /opt/mysql-connector-java-5.1.38.jar ./lib/
  1. 初始化元数据
schematool -dbType mysql --initSchema

4. 测试
  1. 创建数据库
# 进入hive
hive

# 创建一个数据库试试
create database t1;

# 可以看出执行一条语句就会打印很多日志...

  1. 设置日志等级为warn

参考: Hive 3.1.2 修改默认的INFO日志级别

  1. 建个库和表再写点数据试试

  1. 查看hdfs


5. 配置,打印表头和数据库名
在hive-site.xml中添加


	hive.cli.print.header
	true


	hive.cli.print.db
	true

现在就能看到表头和数据库名了

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/943228.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号