大数据疫情可视化平台3

说明

记录大数据疫情可视化平台项目的基础环境搭建：虚拟机搭建Hadoop3.2.1+Hive3.1.2环境。环境说明

• 虚拟机配置CentOS 7.6一台
• 已搭建的集群Hadoop3.2.1环境
• JDK1.8的安装tar包（使用yum安装也可，提前需要配置虚拟机的桥接模式连上网络，注意！！！JDK11官网说的不支持，需要降低到JDK8，开始用JDK11的时候，手动添加lib包，然后走到hive客户端连接，实在不行，将三台服务器降为JDK8而且配置文件必须一致，包含/etc/profile、hadoop-env.sh、yarn-env.sh）

步骤记录

1、mysql 5.7 安装部署 (卸载自带的mariadb)：MariaDB数据库管理系统是MySQL的一个分支，属于Centos7内置，主要由开源社区在维护，采用GPL授权许可。开发这个分支的原因之一是：甲骨文公司收购了MySQL后，有将MySQL闭源的潜在风险，因此社区采用分支的方式来避开这个风险。MariaDB的目的是完全兼容MySQL，包括API和命令行，使之能轻松成为MySQL的代替品。

1、卸载mariadb
	rpm -qa | grep -i -E mysql|mariadb | xargs -n1 sudo rpm -e --nodeps
	-qa 查询系统中所有安装的软件包
	-i 忽略大小写
	-E 指定后边使用正则表达式
	| 或者
	-n1 每次只给出一个参数

2、安装配置
	（1）myql的安装(安装不成功的自行百度解决，换个镜像源)
		cd /home/offcn/software/mysql-5.7
		# 安装依赖
		sudo rpm -ivh  mysql-community-common-5.7.29-1.el7.x86_64.rpm mysql-community-libs-5.7.29-1.el7.x86_64.rpm mysql-community-libs-compat-5.7.29-1.el7.x86_64.rpm
		
		# 安装client
		sudo rpm -ivh mysql-community-client-5.7.29-1.el7.x86_64.rpm
		
		# 安装server
		sudo rpm -ivh mysql-community-server-5.7.29-1.el7.x86_64.rpm
	（2）mysql的配置
		# 启动mysql，设置开机启动
		sudo systemctl start mysqld
		sudo systemctl enable mysqld
		
		# 查看mysql初始密码
		sudo cat /var/log/mysqld.log | grep password
		[Note] A temporary password is generated for root@localhost: iVpZlj&9s?Zs
		
		# 修改密码
		mysql -u root -p
		输入：iVpZlj&9s?Zs
		# 第一次使用必须设置复杂密码(由于 mysql 密码策略，此密码必须足够复杂)
		set password=password("Qs23=zs32");
		
		# 更改 mysql 密码策略最低限制，大于4位即可
		set global validate_password_length=4;
		set global validate_password_policy=0;
		
		# 设置密码为000000
		set password=password("000000");

		# 修改权限
		use mysql;
		select user, host from user;
		update user set host="%" where user="root";
		flush privileges;

2、hive的安装配置

1、上传、解压、重命名
	tar -zxvf apache-hive-3.1.2-bin.tar.gz -C ../apps/
	cd /home/offcn/apps/
	mv apache-hive-3.1.2-bin hive-3.1.2

2、基础配置
（1）配置环境变量
	sudo vim /etc/profile
	#hive-3.1.2
	export HIVE_HOME=/home/offcn/apps/hive-3.1.2
	export PATH=$PATH:$HIVE_HOME/bin
	source /etc/profile

（2）重命名jar包解决日志jar冲突
	cd /home/offcn/apps/hive-3.1.2/lib
	mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak

（3）此时还不能 通过hive命令启动hive客户端
	# hive启动测试,发现能启动，但是不能执行命令
	hive
	hive> show databases;
		FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
		hive> 


（4）修改配置文件更换MySQL数据库存储元数据
	a.安装mysql
	b.修改配置文件
		cd /home/offcn/apps/hive-3.1.2/conf
		vim hive-site.xml
		
		
		
		    
		        javax.jdo.option.ConnectionURL
		         jdbc:mysql://hadoop1:3306/metastore?createDatabaseIfNotExist=true&useSSL=false
		    
		
		    
		        javax.jdo.option.ConnectionDriverName
		        com.mysql.jdbc.Driver
		    
		
		    
		        javax.jdo.option.ConnectionUserName
		        root
		    
		
		    
		        javax.jdo.option.ConnectionPassword
		        root
		    
		
		    
		        hive.metastore.warehouse.dir
		        /user/hive/warehouse
		    
			
			
		    
		        hive.metastore.schema.verification
		        false
		    
		

	# 加载mysql连接驱动包
	cd /home/offcn/software/mysql-5.7
	cp mysql-connector-java-5.1.48.jar /home/xiaosi/apps/hive-3.1.2/lib/ 

	# 使用mysql作为元数据存储
	schematool -dbType mysql -initSchema


（5）修改配置文件配置metsstore、hiveServer2服务
	cd /home/offcn/apps/hive-3.1.2/conf
	vim hive-site.xml：添加以下内容
	
		hive.metastore.uris
		thrift://hadoop1:9083
	
	
	
		hive.server2.thrift.port
		10000
	
	
	
		hive.server2.thrift.bind.host
		hadoop1
	
	
	
		hive.metastore.event.db.notification.api.auth
		false
	
	# 注意：启动hive命令启动客户端之前需要启动metastore服务

（4）一键启动脚本metastore、server服务  

	# 创建日志目录
	cd /home/offcn/logs/
	mkdir hive-3.1.2
	cd hive-3.1.2/
	touch metastore.out hiveserver2.out

	# 编写脚本
	cd /home/offcn/bin/
	vim hive.sh
		#!/bin/bash
		if [ $1 = start ];
		then
			nohup $HIVE_HOME/bin/hive --service metastore 2>&1> $HOME/logs/hive-3.1.2/metastore.out &
			nohup $HIVE_HOME/bin/hive --service hiveserver2 2>&1> $HOME/logs/hive-3.1.2/hiveserver2.out &
		else
			hive_id=`ps -ef | grep RunJar | grep -v grep | awk '{print $2}'`
			for id in $hive_id
			do
				kill -9 $id
				echo "killed $id"
			done
		fi
		
 调用格式./hive.sh start，此时这个窗口会一直阻塞，需要再开一个窗口使用hive启动hive
总结：

(1) 先执行 hive --service metastore
(2) 在执行hive本机打开hive数据库
(3)如果需要使用java客户端连接，需要hive --service hiveserver2

若是采用JDK11，则会报错，需要将JDK降为JDK8，而且三台服务器的JDK以及相关配置文件必须一致（重要！！！！）

然后测试客户端是否可以连接hive使用：beeline -u jdbc:hive2://hadoop101:10000/default

[root@hadoop101 ~]# beeline -u jdbc:hive2://hadoop101:10000/default
Connecting to jdbc:hive2://hadoop101:10000/default
Connected to: Apache Hive (version 3.1.2)
Driver: Hive JDBC (version 3.1.2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 3.1.2 by Apache Hive
0: jdbc:hive2://hadoop101:10000/default> Closing: 0: jdbc:hive2://hadoop101:10000/default
[root@hadoop101 ~]# 

3、hive的基础命令、属性配置

1、Hive常用交互命令
	[offcn@node-1 ~]$ hive -help
	Hive Session ID = aab86c66-46a2-420b-9d50-ddc49e4c0c83
	usage: hive
	 -d,--define           Variable substitution to apply to Hive
	                                  commands. e.g. -d A=B or --define A=B
	    --database      Specify the database to use
	 -e          SQL from command line
	 -f                     SQL from files
	 -H,--help                        Print help information
	    --hiveconf    Use value for given property
	    --hivevar          Variable substitution to apply to Hive
	                                  commands. e.g. --hivevar A=B
	 -i                     Initialization SQL file
	 -S,--silent                      Silent mode in interactive shell
	 -v,--verbose                     Verbose mode (echo executed SQL to the
	                                  console)
2、Hive其他命令操作
	（1）"-e"不进入hive的交互窗口执行sql语句
		hive -e "select * from student;"
	
	（2）"-f"执行脚本中sql语句
		vim hivef.sql
		select * from student;
		hive -f hivef.sql
3、Hive运行日志信息配置
	（1）退出hive窗口：
		hive(default)>exit;
		hive(default)>quit;
	（2）在hive cli命令窗口中如何查看hdfs文件系统
		hive(default)>dfs -ls /;
	（3）查看在hive中输入的所有历史命令
		（1）进入到当前用户的根目录
		（2）查看.hivehistory文件
		[offcn@node-1 ~]$ cat .hivehistory