014 大数据之HIVE实战

hive的引擎mapreduce、tez和spark三者比较hive sql执行方式对比（tez,mapreduce,spark,storm）TEZ和MapReduce区别Flink on Hive构建流批一体数仓

MR引擎在HIVE 2中将被弃用，官方推荐使用TEZ或SPARK等引擎，在实际应用中如果使用TEZ或者SPARK计算时出现内存溢出的问题（TEZ和SPARK都是内存式计算），可以考虑使用MR进行运算，虽然慢但是肯定会出结果。Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。这就意味着Flink既可以作为Hive的一个批处理引擎，也可以通过流处理的方式来读写Hive中的表，从而为实时数仓的应用和流批一体的落地实践奠定了坚实的基础。

tez-0.10.1-SNAPSHOT-minimal.tar.gz
tez-0.10.1-SNAPSHOT.tar.gz
安装包下载地址：https://pan.baidu.com/s/1PePN7BXvQGheJxqT5bYYjQ 提取码：i9yb

# 解压TEZ安装包
[atguigu@hadoop102 software]$ tar -zxvf tez-0.10.1-SNAPSHOT-minimal.tar.gz -C /opt/module/tez/
# HDFS上创建TEZ依赖文件夹
[atguigu@hadoop102 software]$ hdfs dfs -mkdir /tez
# 上传tez依赖到HDFS
[atguigu@hadoop102 software]$ hdfs dfs -put tez-0.10.1-SNAPSHOT.tar.gz /tez
2022-01-17 22:39:04,937 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
# 新建tez-site.xml
[atguigu@hadoop102 software]$ cat $HADOOP_HOME/etc/hadoop/tez-site.xml



	
		tez.lib.uris
	    ${fs.defaultFS}/tez/tez-0.10.1-SNAPSHOT.tar.gz
	
	
	     tez.use.cluster.hadoop-libs
	     true
	
	
	     tez.am.resource.memory.mb
	     1024
	
	
	     tez.am.resource.cpu.vcores
	     1
	
	
	     tez.container.max.java.heap.fraction
	     0.4
	
	
	     tez.task.resource.memory.mb
	     1024
	
	
	     tez.task.resource.cpu.vcores
	     1
	

# 修改Hadoop环境变量，添加Tez的Jar包相关信息
[atguigu@hadoop102 software]$ cat $HADOOP_HOME/etc/hadoop/shellprofile.d/tez.sh
hadoop_add_profile tez
function _tez_hadoop_classpath
{
    hadoop_add_classpath "$HADOOP_HOME/etc/hadoop" after
    hadoop_add_classpath "/opt/module/tez/*" after
    hadoop_add_classpath "/opt/module/tez/lib/*" after
}
# 修改Hive的计算引擎
[atguigu@hadoop102 software]$ cat $HIVE_HOME/conf/hive-site.xml



    
    
        hive.execution.engine
        tez
    
    
        hive.tez.container.size
        1024
    

    
    
        hive.cli.print.header
        true
    
    
        hive.cli.print.current.db
        true
    

    
    
        hive.server2.thrift.bind.host
        hadoop102
    

    
    
        hive.server2.thrift.port
        10000
    

    
    
        javax.jdo.option.ConnectionURL
        jdbc:mysql://hadoop102:3306/metastore?useSSL=false
    

    
    
        javax.jdo.option.ConnectionDriverName
        com.mysql.jdbc.Driver
    

    
    
        javax.jdo.option.ConnectionUserName
        root
    

    
    
        javax.jdo.option.ConnectionPassword
        root
    

    
    
        hive.metastore.warehouse.dir
        /user/hive/warehouse
    
    
   
    
        hive.metastore.schema.verification
        false
    
   
    
    
        hive.metastore.event.db.notification.api.auth
        false
    

# 解决日志Jar包冲突
[atguigu@hadoop102 software]$ rm /opt/module/tez/lib/slf4j-log4j12-1.7.10.jar