栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hive相关参数使用---持续更新

hive相关参数使用---持续更新

hive.fetch.task.conversion参数

可以在hive,jdbc连接中添加该参数。hive查询对应的底层可以是MR任务,也可以是Fetch 任务即直接读取存储在目录下的文件。决定这个行为的参数是 hive.fetch.task.conversion。

  • 当设置为none时表示所有任务都是生成MR任务
  • 当设置成more时,不限定列,简单的查找select filter limit 都不生成MR任务,其他都生成MR任务。
    设置需要灵活决定,当是简单查询时,我们可能想没必要生成MR直接跑就可以了,但是对于大表线性扫描查询速度会比较慢。
hive.execution.engine参数

可以在hive,jdbc连接中添加该参数。对于hive底层生成MR任务是使用MapReduce引擎还是tez引擎,需要通过该参数指定,默认是MapReduce引擎。如果要使用tez引擎设置为hive.execution.engine=tez。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/350129.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号