栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

MaxCompute SQL调优

MaxCompute SQL调优

SQL成本计算=读取IO数据量*SQL复杂度

所以,SQL调优可以从两方面入手:①减少数据量;②降低SQL复杂度

一、减少数据量

1.表分区优化

(1)创建分区表

(2)分区裁剪、避免全表扫描。

(3)分区尽量使用常量、减少分区字段函数使用

(4)分区按层级顺序裁剪

(5)写入静态分区,优化数据存储;减少动态分区,防止小文件过多。

2.列裁剪、条件过滤

(1)避免使用select * ,查询需要的列

(2)使用Limit N

  (3)使用条件过滤,pushdown.

3.源表合并

(1)合并不同SQL,一读多计算

(2)子查询合并

二、优化SQL复杂度

1.JOIN连接,MapJoin优化(SELECT )

运行原理:

        ①小表数据全部加载内存;

        ②读取大表的每个Task加载一份小表数据。

限制条件:

        ​​​ 

 使用场景:

        ①大表关联小标;

        ②使用不等值条件,例如or;

        ③系统内部自动优化为MapJoin;

        ④普通join连接可能发生数据倾斜(原因:null值、缺省值、大Key值;数据分发不合理等),可以显示指定mapjoin:

        增加源表作为大表的并发度:set odps.sql.mapper.split.size = 128;

        增加子查询作为大表并发度:set odps.sql.joiner.instances = 1111;

2.Full outer join 全连接优化

(1)使用限制

        ①只能使用meger join,不能使用map join

        ②出现数据倾斜,很难通过参数调节解决。

(2)解决方案

        ①将full outer join 转化为left outer join + union all

        ②将小表设置为mapjoin

3.JOIN条件过滤   

4.类型转换

(1)尽可能保证表达式两边的类型一致(Cast转换)

(2)隐式转换(尽量少使用隐式转换,防止数据倾斜等问题)

5.聚合运算优化

(1)减少使用distinct

        会导致数据膨胀,网络传输和处理的数据量暴增;CPU、IO、内存资源消耗增加;也可能导致数据倾斜。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/699835.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号