栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

MySQL避坑记录-doirs与spark执行函数

MySQL避坑记录-doirs与spark执行函数

情景重现

将实时数据库中的一列日期与自己连接,和昨日数据join进一张表里,查询时按今日日期进行查询,比如:
2022-03-21日的时间:

2022-03-22日的时间:

可以看到22日的时间是不全的,这个时间如果想以今天为准进行查询的话,势必会导致无法显示出21号的晚一些的时间,而如果以21号为底表做join的话,又会在22号实时数据中出现一堆null无法进行可视化展示 :

于是我们很自热的想到NVL函数:

nvl(expr1, expr2) - 如果expr1为空的话,则显示expr2

例子:

> SELECT nvl(NULL, array('2'));
 ["2"]

我们用21号作为底表,对于22号数据join为空的,我们将日期显示为21号+1,这里可以用date_add,而在执行时发现依旧不显示当日数据,排查后发现,22后join为空的数据未有被填充,仔细查了一下发现MySQL底层问题,NVL函数适用于spark引擎,也只被spark处理,而此时执行的数据库为doirs,于是更改为:ifnull

> SELECT ifnull(NULL, array('2'));
 ["2"]

这里再介绍两种Doris的连接特性:semi

left semi join只返回左表中能匹配右表数据的行,不管能匹配右表多少行数据,左表的该行最多只返回一次。right semi join原理相似,只是返回的数据是右表的。

然而当我换成right semi的时候:

这 这和inner join 有什么区别吗,就是在求交集。。。 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/775360.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号