hive-2.3.4的安装配置及与hadoop上传脚本使用的简单实验

所需文件：
Mysql57-community-release-el7-11.noarch.rpm
Mysql-connector-java-5.1.48-bin.jar
apache-hive-2.3.4-bin.tar.gz

下载安装包：
大数据部分组件（
包含Mysql-connector-java-5.1.48-bin.jar
apache-hive-2.3.4-bin.tar.gz
）

一、Mysql准备工作 0.切换root用户

su root

1.下载MySQL的Yum Repository

wget https://repo.mysql157-community-release-e17-11.noarch.rpm

2.安装MySQL官方的Yum Repository

rpm -ivh mysql57-community-release-el7-11.noarch.rpm

3.查看可安装的MySQL版本

yum repolist all |grep mysql

4.安装Mysql

yum install -y mysql-community-server --nogpgcheck

5.启动mysql

systemctl start mysqld
systemctl status mysqld

6.修改登录密码

修改密码策略

vim /etc/my.cnf

末尾加两行：

validate_password_policy=Low
validate_password_length=6

重启mysqld服务

systemctl restart mysqld

grep 'temporary password' /var/log/mysqld.log

使用临时密码登录

mysql -uroot -p

修改临时密码

set password="123456";

查询mysql中创建的库

show databases;

7.在MySQL中创建Hive所需用户和数据库并授权

（1）创建用户hive

create user 'hive' identified by '123456';

（2）创建数据库hive

create database hive;

（3）将数据库hive的所有权限授权于用户hive

Grant all privileges on hive.* to 'hive'@'localhost' identified by '123456';

使用hive用户登录验证

mysql -uhive -p123456
show databases;

二、安装hive 0.准备工作

切换到用户账号操作
su 用户名
解压重命名到/usr/local/hive-2.3.4

sudo tar -zxvf apache-hive-2.3.4-bin.tar.gz -C /usr/local/
cd /usr/local
sudo mv apache-hive-2.3.4-bin.tar.gz hive-2.3.4

将mysql的JDBC驱动包复制到Hive安装目录/lib下
解压驱动包（网络下载或者组件下载包）

sudo tar -zxvf mysql-connector-java-5.1.48.tar.gz

将JDBC驱动复制到hive-2.3.4/lib目录下

sudo mv mysql-connector-java-5.1.48/mysql-connector-java-5.1.48.jar /usr/local/hive-2.3.4/lib/

给hive更改用户主

sudo chown -R 用户名:用户组名（用户名） /usr/local/hive-2.3.4/

1.配置hive-env.sh

cp hive-env.sh.template hive-env.sh
vim hive-env.sh

修改hive-env.sh文件内容如下

HADOOP_HOME=/usr/local/hadoop-2.9.2
export HIVE_CONF_DIR=/usr/local/hive-2.3.4/conf
export HIVE_AUX_JARS_PATH=/usr/local/hive-2.3.4/lib

2.创建hive-default.xml但不修改

cp hive-default.xml.template  hive-default.xml

3.修改hive-site.xml

hive-site.xml修改如下

    
      javax.jdo.option.ConnectionURL
      jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&useSSL=false
    

    
      javax.jdo.option.ConnectionDriverName
      com.mysql.jdbc.Driver
    

    
      javax.jdo.option.ConnectionUserName
      hive
    

    
      javax.jdo.option.ConnectionPassword
      123456
    

4.添加hive环境变量

sudo vim /etc/profile.d/hive.sh

export HIVE_HOME=/usr/local/hive-2.3.4
export PATH=$HIVE_HOME/bin:$PATH

加载hive.sh

source /etc/profile

5.初始化Hive Metastore

schematool -initSchema -dbType mysql

6.验证Hive

启动hadoop集群

start-dfs.sh
start-yarn.sh
jps

进入hive

hive

安装完成

三、hive的简单操作

脚本下载地址
进入hive

1.构建数据仓库

create database if not exists car;

2.创建原始数据表

（0）将create_1.sql脚本文件上传到master中
（1）上传脚本文件到hdfs

hdfs dfs -put ./create_1.sql  /cars/
hdfs dfs -ls /cars

（2）进入hive运行脚本

hive
source create_1.sql;
use car;
show tables;

3.加载数据到数据仓库

（1）将cars.txt上传到master中
（2）将cars.txt上传到hdfs中

hdfs dfs -put ./cars.txt /cars/
hdfs dfs -ls /cars

（3）验证数据结果

hive
select * from car.car_2019712 limit 10;

4.统计乘用车辆和商用车辆的销售数量与汽车销售总数量

（1）统计乘用车辆和商用车辆的销售数量

use car;
select  '非营运',sum(if(a.nature='非营运',a.cnt,0)),'营运',
sum(if(a.nature!='非营运',a.cnt,0))
from (select nature,count(*) as cnt from car_2019712 
group by nature having nature is not null and nature != '') a;

（2）统计汽车销售总数量

select count(*) from car.car_2019712;