栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hive + tez 执行引擎启动两个 application

hive + tez 执行引擎启动两个 application

在 hive-site.xml, 配置执行引擎为 tez。


    hive.execution.engine
    tez
    
      Expects one of [mr, tez, spark].
      Chooses execution engine. Options are: mr (Map reduce, default), tez, spark. While MR
      remains the default engine for historical reasons, it is itself a historical engine
      and is deprecated in Hive 2 line. It may be removed without further warning.
    
  

执行 hive 命令后,看到有两个 application 启动。
hive 执行后,有一个后台线程执行 tez session 的创建工作。还有一个是因为物化视图。

默认后台执行的设置

此参数默认是 true,即在后台创建 session,如果改为false,则 hive 的启动时间变长。后台和前台执行方式影响 Prepare plan 的时间。具体见分析 Hive 安全模式下 Prepare Plan 的时间分析


    hive.cli.tez.session.async
    true
    
      Whether to start Tez
      session in background when running CLI with Tez, allowing CLI to be available earlier.
    
  
物化视图
 
    hive.server2.materializedviews.registry.impl
    DEFAULT
    
      Expects one of [default, dummy].
      The implementation that we should use for the materialized views registry. 
        DEFAULT: Default cache for materialized views
        DUMMY: Do not cache materialized views and hence forward requests to metastore
    
  

物化视图服务启动的时候,需要遍历所以数据库的物化视图,为 SQL 改写做准备,所以会有一个 session。
如果关闭,设置此参数为 DUMMY。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/604606.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号