栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

11.2.10、flink核心

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

11.2.10、flink核心

1、flink的sqlAPI

在flink流上面写 sql
物化视图定义为 SQL 查询。为了更新视图,查询会不断处理视图基本关系的变更日志流。
物化视图是流式 SQL 查询的结果

2、动态表和连续查询

— 在flink数据流上面定义一个动态表,用于转化数据
—通过连续查询将结果保存另一个动态表
—将新的动态表转化成流,输出…
—动态表分为只更新的表,追加的表


动态表首先是一个逻辑概念。动态表在查询执行期间不一定(完全)具体化(物化,虚拟的)

3、流程(数据删除更新的表,只插入的表)

–流上的第一个动态表,仅仅是插入(不断来数据)(在流上定义的表没有物化)
—在动态表上连续查询,查询结果如果是聚合统计的话,会将之前的数据删除,再插入新的数据结果
—如果是窗口的话,数据之间没有关系,数据不用删除

4、导入依赖

(1)表程序依赖



  org.apache.flink
  flink-table-api-scala-bridge_2.11
  1.11.2
  provided

(2)计划器



  org.apache.flink
  flink-table-planner-blink_2.11
  1.11.2
  provided

(3)流处理


  org.apache.flink
  flink-streaming-scala_2.11
  1.11.2
  provided

(4)扩展依赖(自定义函数)


  org.apache.flink
  flink-table-common
  1.11.2
  provided

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/694845.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号