Flink入门教程(三)——窗口(一)

 欢迎关注公众号——《数据三分钟》

一线大厂的师兄师姐结合自己的工作实践，将数据知识浅显道来，每天三分钟，助你成为数据达人。还有面试指导和内推机会。

       over window是传统数据库的标准开窗函数，在开窗函数中，每一个元素都触发一个窗口计算，每一个窗口里的元素由当前元素及其相邻元素组成，换句话说，你和你的小伙伴排成一个队伍，那么每个人和满足一定条件的相邻的人可以组成一个小组，同一个人可能属于多个小组，这也是流式数据在开窗计算时的典型现象。简单来说，对流式数据进行开窗计算是为了获取该元素及其周围元素的某个聚合结果，例如累和、最大值、最小值等，而在流式开窗计算中，触发计算的元素一定是当前窗口的最后一条记录。

        在流式计算中，窗口一般可以根据触发计算的方式不同分为两类：

        一、按照数据行来划分窗口，每一行数据行触发一次窗口计算，即rows over window；

        二、按照数据达到的时间来划分窗口，每一个到达的时间节点触发一次窗口计算，即range over window。

        按数据行去开窗计算的情形又可以分为两类，第一种是针对无界数据流，也就是unbounded data stream，另一种是有界数据流，即bounded data stream，这两种情况下窗口聚合的触发是不一样的，如下图所示：

        在上图中，可以看到w6和w7这两个窗口的数据是同一时间到达的，但是计算却分在了两个不同的窗口，这也是rows over window区别于range over window的地方。

        我们设想这样一个场景：统计浏览某个网页的同性别中最近三个人的最大年龄。这是一个典型的bounded data stream。假设测试数据如下：

代码如下：

CREATE TABLE user_visit_log(
   user_id VARCHAR,
   gender  VARCHAR,
   visitor_time TIMESTAMP,
   age BIGINT
   WATERMARK visitor_time FOR visitor_time as withOffset(onSellTime, 0) 
) 
WITH (
  type = 'kafka',
   ...
);

SELECt  
    user_id,
    gender, 
    visitor_time, 
    age,  
    MAX(age) OVER (
        PARTITION BY gender 
        ORDER BY visitor_time 
        ROWS BETWEEN 2 preceding AND CURRENT ROW) AS max_age
FROM user_visit_log;

得到的结果如下：

        range over window是一种按到达时间触发计算窗口的，它也可以分为面向unbounded data stream和面向bounded data stream两种情形的模式，如下图所示：

        range over window是按到达时间触发计算的，因此在w6中，虽然来了两条数据，但是由于到达时间相同，因此归属于同一个window。这也是range over window不同于 rows over window的地方。

        还是假设这样一个场景：统计最近三分钟内浏览某个网页的同性别访客的最大年龄。这也是一个典型的bounded data stream。假设测试数据如下：

代码如下：

CREATE TABLE user_visit_log(
   user_id VARCHAR,
   gender  VARCHAR,
   visitor_time TIMESTAMP,
   age BIGINT
   WATERMARK visitor_time FOR visitor_time as withOffset(onSellTime, 0) 
) 
WITH (
  type = 'kafka',
   ...
) ;

SELECt  
    user_id,
    gender, 
    visitor_time, 
    age,  
    MAX(age) OVER (
        PARTITION BY gender 
        ORDER BY visitor_time 
        RANGE BETWEEN INTERVAL '2' MINUTE preceding AND CURRENT ROW) AS max_age
FROM user_visit_log;

得到的结果如下：

        春秋时期，宋国和楚国为争夺中原霸权，在泓水开战。楚军进至泓水南岸，并开始渡河，这时宋军已布列好阵势。宋大司马公孙固鉴于楚宋两军众寡悬殊，但宋军已占有先机之利的情况，建议宋襄公把握战机，乘楚军渡到河中间时予以打击。宋襄公拒不同意。楚军渡河后开始布列阵势，这时公孙固又奉劝宋襄公乘楚军列阵未毕、行列未定之际发动攻击，但宋襄公仍然不予接受。一直等到楚军布阵完毕，一切准备就绪之后，宋襄公这才击鼓向楚军进攻。可是，这时一切都已经晚了，弱小的宋军很快被强大楚师击溃。战后，宋襄公并未认识自己的指挥错误，向臣民辩解说：“古之为军，临大事不忘大礼，君子不重伤（不再次伤害受伤的敌人）、不擒二毛（不捉拿头发花白的敌军老兵）、不以阻隘（不阻敌人于险隘中取胜）、不鼓不成列（不主动攻击尚未列好阵的敌人）”，认为自己遵守古训行事并无不当。泓水之战规模虽不很大，但是在中国古代战争发展史上却具有一定的意义。它标志着商周以来以“成列而鼓”为主要特色的“礼义之兵”将寿终正寝，新型的以“诡诈奇谋”为主导的作战方式正式崛起，也就是《孙子兵法》中所说的：兵者，诡道也。