栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

超详细Hive环境手把手搭配教学,学就会,ODS层搭配成功搭建

超详细Hive环境手把手搭配教学,学就会,ODS层搭配成功搭建

本次Hive搭建的环境版本是2.3.4

 

一、首先要确认安装配置Hive环境上有Hadoop环境

(Hadoop环境对hive环境中执行写读存储的功能,所以在安装hive前一定要先安装好hadoop环境)

1.Hive下载
  • Hive官网
    http://hive.apache.org

  • Hive下载地址
    http://archive.apache.org/dist/hive

  • Hive文档查看地址
    https://cwiki.apache.org/confluence/display/Hive/GettingStarted

二、Hive搭建前的准备,MySQL数据库

1.搭建前检查mariadb是否安装,如果安装则卸载mariadb,否则会起冲突

[root@master ~]# yum list installed | grep mariadb

卸载mariadb(后缀是版本号,Tab出来卸载就可以了)

[root@master ~]# yum -y remove mariadb-libs.x86_64 

2.下载MySQL数据库的repo源(安装mysql到/root目录下,后面对hive执行操作)

[root@master ~]# wget https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm

3.安装mysql-community-release-el7-5.noarch.rpm包,会生成两个源文件

(源文件目录:/etc/yum.repos.d/mysql-community.repo,/etc/yum.repos.d/mysql-community-source.repo。)

[root@master ~]# rpm -ivh mysql57-community-release-el7-11.noarch.rpm 

4.安装MySQL库(遇到y/d/N都选择y就可以了)

[root@master ~]# yum install mysql-server

5.启动MySQL库(也可以将start换成status查看一下是否开启成功,绿色的则为开启成功)

[root@master ~]# systemctl start mysqld

6.使用MySQL库修改密码,首先要先查看然后进入MySQL的库中(随机生成的密码没有空格:12个字符)

[root@master ~]# grep 'password' /var/log/mysqld.log

 进入MySQL

[root@master ~]# mysql -u root -p

 修改MySQL的数据库密码(不然时间长了太难记了,密码要包含大写小写数字和符号)

mysql> alter user user() identified by 'Hxf1990!';

修改成功后exit退出!

三、Hive环境的搭建

(hive是一个临时存储的仓库,Hive也是ODS层的一种)

1.在hive上传的路径下解压hive到root目录下

[root@master wenjian]# tar -zxvf apache-hive-2.3.4-bin.tar.gz -C /root/

2.进入/root目录下对hive进行修改名称(不然名字太长了)

[root@master ~]# mv apache-hive-2.3.4-bin/ hive

3.进入hive的配置文件下

[root@master ~]# cd /root/hive/conf/

4.复制配置文件,保留它的源文件

[root@master conf]# cp hive-default.xml.template hive-default.xml
[root@master conf]# cp hive-env.sh.template hive-env.sh

5.创建一个hive-site.xml文件并写入数据

[root@master conf]# mkdir hive-site.xml

写入以下数据,并把Hxf1990!修改为刚刚配置的MySQL的密码!(第17行)




        
                javax.jdo.option.ConnectionURL
        
        
                javax.jdo.option.ConnectionDriverName
                com.mysql.jdbc.Driver
        
        
                javax.jdo.option.ConnectionUserName
                root
        
        
                javax.jdo.option.ConnectionPassword
                Hxf1990!
        
        
                datanucleus.readOnlyDatastore
                false
        
        
                datanucleus.fixedDatastore
                false
        
        
                datanucleus.autoCreateSchema
                true
        
        
                datanucleus.schema.autoCreateAll
                true
        
        
                datanucleus.autoCreateTables
                true
        
        
                datanucleus.autoCreateColumns
                true
        
        
                hive.metastore.local
                true
        
        
        
                hive.cli.print.header
                true
        
        
        
                hive.cli.print.current.db
                true
        

6.添加hive-env.sh中的环境变量

export HADOOP_HOME=/root/hadoop
export HIVE_HOME=/root/hive
export HIVE_CONF_DIR=$HIVE_HOME/conf
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HIVE_AUX_JARS_PATH=$HIVE_HOME/lib

 7.进入hive的lib目录下,上传MySQL的jar包

[root@master lib]# cd /root/hive/lib/

点击进入mysql的jar包下载地址(我这里用的是mysql5.1.38的jar包,用哪个版本都可以)

rz选择jar包上传

 8.进入hive的bin目录下初始化hive的配置

[root@master bin]# cd /root/hive/bin
[root@master bin]# ./schematool -dbType mysql -initSchema

初始化成功!!

 9.添加root用户下的环境变量

[root@master bin]# vim /root/.bash_profile 

重现编译一下root下的环境变量

[root@master bin]# source /root/.bash_profile 

10.进入hive

[root@master bin]# hive

 出现这个就代表你配置成功了!

hive中执行命令查看所有库

 hive中创建库


hive 的安装配置就讲完了,觉得有用的话可以点赞或关注一下哦!!!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/487718.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号