前期准备
检查MySQL检查Hadoop 开始安装
1、在MySQL中创建hive元数据库2、上传安装包并解压
2.1解压 3、配置环境变量
3.1检查环境变量是否配置完毕 4、修改配置文件
4.1进入hive-1.2.1/conf目录,复制备份文件并重命名4.2修改hive-env.sh文件4.3修改hive-site.xml4.4拷贝mysql驱动到$HIVE_HOME/lib目录下4.5将hive的jline-2.12.jar拷贝到hadoop对应目录下 运行hive后期
1、修改mysql元数据库hive,让其hive支持utf-8编码以支持中文
1.1、修改字段注释字符集1.2、修改表注释字符集1.3、修改分区表参数,以支持分区键能够用中文表示1.4修改索引注解(可选) 上传文件到hive
前期准备在安装Hive的前提是虚拟机上以及安装mysql和hadoop,并成功启动,查看正在运行的指令为:
检查MySQLjps
登录MySQL查看是否可以登录
检查Hadoopmysql -u root -p123456
show databases;
使用hdfs命令测试一下就好了
hdfs dfs -ls /
能够正常的响应就说明没有问题
2、上传安装包并解压 2.1解压create database hive character set “latin1”;
(这里编码设置是拉丁1,为什么要设置这个呢,其实是因为如果不设置成拉丁1的话hive在1.2.1版本中有冲突,后期在操作的时候会跳垃圾回收,所以我们后期可以修改,让其支持UTF-8)
tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/local/soft/
目录太长了,这里我们可以选择重命名
mv apache-hive-1.2.1-bin/ hive-1.2.1
所以我们前期导入MySQL驱动可以放到lib中
vim /etc/profile
别忘记还有最终要的一步就是source一下
打出hi摁俩下tab键
4.2修改hive-env.sh文件cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
加入三行内容(大家根据自己的目录和实际情况来添加)
4.3修改hive-site.xmlHADOOP_HOME=/usr/local/soft/hadoop-2.7.6
JAVA_HOME=/usr/local/soft/jdk1.8.0_171
HIVE_HOME=/usr/local/soft/hive-1.2.1
javax.jdo.option.ConnectionURL jdbc:mysql://master:3306/hive?useSSL=false //jdbc的链接javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver //驱动名称javax.jdo.option.ConnectionUserName root //链接MySQL的用户名javax.jdo.option.ConnectionPassword 123456 //链接MySQL的密码hive.querylog.location /usr/local/soft/hive-1.2.1/tmp //查询日志路径hive.exec.local.scratchdir /usr/local/soft/hive-1.2.1/tmp //拉取数据路径hive.downloaded.resources.dir /usr/local/soft/hive-1.2.1/tmp //上传资源路径
小tip:/是查询
4.4拷贝mysql驱动到$HIVE_HOME/lib目录下4.5将hive的jline-2.12.jar拷贝到hadoop对应目录下cp /usr/local/soft/packages/mysql-connector-java-5.1.49.jar ./lib/
hive的 jline-2.12.jar 位置在 :/usr/local/soft/hive-1.2.1/lib/jline-2.12.jar
将hive的jar拷过去hadoop下:
运行hivecp /usr/local/soft/hive-1.2.1/lib/jline-2.12.jar /usr/local/soft/hadoop-2.7.6/share/hadoop/yarn/lib/
直接运行即可
后期我在这里创了俩张表,但是我们在查看表结构的时候可以得出,中文显示的是问号,所以我们在这里需要修改编码
1、修改mysql元数据库hive,让其hive支持utf-8编码以支持中文登录mysql:
mysql -u root -p123456
切换到hive
use hive;
其实也可以直接在Navicat中修改
1.1、修改字段注释字符集1.2、修改表注释字符集alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
1.3、修改分区表参数,以支持分区键能够用中文表示alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
1.4修改索引注解(可选)alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
这里我们给之前的表删除重修创建即可、
同时,我们在hdfs的web页面中也可以找到这俩张表
直接文件拖到xshell中即可
使用yum装一个rz即可
yum install lrzsz
这样就不需要使用xftp拖,比较方便
上传文件
hdfs dfs -put students.txt /user/hive/warehouse/test1.db/students
这时候上传成功数据就来了



