栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

提高SQL功底的思路

提高SQL功底的思路

--提高SQL功底的思路。
--1、最好先造数据,因为只有数据支撑,才会方便我们根据数据结果去不断调整SQL的写法。
--造数据语法既可以create table再insert into,也可以用案例中的create view xx as values语句,更简单。
--其中create view xx as values语句,SparkSQL语法支持,hive不支持。
--2、再将结果表画出来,包括结果字段名有哪些,数据量也画几条。这是分析他要什么。
--3、从源表到结果表,一路可能要走多个步骤,其实就是可能需要多个子查询,如果步骤超过2步,就用with as来重构提高可读性。
--4、要由简单过度到复杂,不要一下子就写一个很复杂的。
--先写简单的select * from table..,每个中间步骤都执行打印结果,看是否符合预期,
--根据中间结果,进一步调整修饰SQL语句,再执行,直到接近结果表。
--5、数据量小,工具要快,如果用hive,就设置set hive.exec.mode.local.auto=true;
--如果是SparkSQL,就设置合适的shuffle并行度,set spark.sql.shuffle.partitions=4;

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/724424.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号