栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

dataWorks常用调优参数

dataWorks常用调优参数

总结了一下dataWorks常用参数方便同学们使用:
## 查看项目数据类型版本。
setproject; 


## 允许全表扫描
set odps.sql.allow.fullscan=true;

##允许整个项目都可全表扫描
setproject odps.sql.allow.fullscan=true;

##文件被合并的最大阈值
set odps.sql.mapper.merge.limit.size=64;

##Map端输入的控制
set odps.sql.mapper.split.size=256;

##是否可以用 order by 
set  odps.sql.validate.orderby.limit=false;

##使用别名group by 1,2,3
set hive.groupby.position.alias=true;

## 合并小文件
set odps.merge.cross.paths=true;
set odps.merge.smallfile.filesize.threshold=128;
set odps.merge.max.filenumber.per.instance = 2000;

## 允许mapjoin
set odps.sql.allow.cartesian=true;

## 设置资源池
set odps.task.quota.preference.tag = 资源池名称


## 开启任务并行执行
SET odps.sql.hive.compatible =TRUE;

## 同一个sql允许并行任务的最大线程数
SET hive.exec.parallel=true;
SET hive.exec.parallel.thread.number=8;

## 打开MaxCompute 2.0数据类型。
set odps.sql.type.system.odps2=true; 

## 打开Decimal 2.0数据类型。
set odps.sql.decimal.odps2=true; 

## 打开Hive兼容模式。
set odps.sql.hive.compatible=true; 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/303618.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号