栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

玩转Flink流批一体计算引擎

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

玩转Flink流批一体计算引擎

目录

Flink简介

Flink能干啥

流式分析

数据管道&ETL

事件驱动应用

Flink简介

Flink是一个优秀的流式处理引擎,不仅拥有完善的流式处理解决方案,而且将批处理视为有界流,完美实现了流批处理一体化。

Flink能干啥

流式分析

Flink可持续不断得处理事件流,并明确支持一下三种时间语义:

  • 事件时间(event time): 事件产生的时间,记录的是设备生产(或者存储)事件的时间;
  • 摄取时间(ingestion time): Flink 读取事件时记录的时间;
  • 处理时间(processing time): Flink pipeline 中具体算子处理事件的时间。

值得一提的是Flink的DataStream API和Table API & SQL均可支持这三种语义。

数据管道&ETL

Flink擅长ETL(抽取、转换、加载)管道任务,从一个或多个数据源获取数据,进行一些转换操作和信息补充,并将结果存储起来。除了使用常见的DataStream API来实现这些功能之外,还可以使用Table API & SQL来实现。

事件驱动应用

通过处理函数(ProcessFunction)将事件处理与时钟(Timer)、状态(State)相结合,可以构建强大的流处理应用,从而实现逻辑复杂的事件驱动应用。

典型的事件驱动类应用有:

  1. 欺诈检测(Fraud detection)
  2. 异常检测(Anomaly detection)
  3. 基于规则的告警(Rule-based alerting)
  4. 业务流程监控(Business process monitoring)
  5. Web应用程序(社交网络)

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/340403.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号