栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Flink1.13优势一览

Flink1.13优势一览

1.13包括一系列重要改动使用户可以更好的理解流作业的性能。当流作业的性能不及预期的时候,这些改动可以使用户可以更好的分析原因。这些改动包括用于识别瓶颈节点的负载和反压可视化、分析算子热点代码的 CPU 火焰图和分析 State Backend 状态的 State 访问性能指标。

Flink1.13.1其中一些比较重要的修改包括:

  1. 被动扩缩容
  2. 分析应用的性能
    1. 瓶颈检测与反压监控
    2. Web UI 中的 CPU 火焰图
    3. State 访问延迟指标
  3. 通过Savepoint来切换Sate Backend。
  4. K8s部署时使用用户指定的Pod模式
  5. 生产可用的Unaligned Checkpoint
  6. 机器学习迁移到单独的仓库

SQL / Table API 进展:

  1. 通过 Table-valued 函数来定义时间窗口
  2. 提高 DataStream API 与 Table API / SQL 的互操作能力
  3. SQL Client: 初始化脚本和语句集合 (Statement Sets)
  4. 配置简化和代码共享
  5. 通过语句集合来支持多查询
  6. Hive 查询语法兼容性
  7. 优化的 SQL 时间函数

PyFlink 核心优化:

  1. Python DataStream API 中的有状态算子
  2. PyFlink DataStream API 中的用户自定义窗口
  3. PyFlink Table API 中基于行的操作
  4. PyFlink DataStream API 支持 Batch 执行模式

其它优化:

  1. Web UI 支持历史异常
  2. 优化失败 Checkpoint 的异常和失败原因的汇报
  3. 提供『恰好一次』一致性的 JDBC Sink
  4. PyFlink Table API 在 Group 窗口上支持用户自定义的聚合函数
  5. Batch 执行模式下 Sort-merge Shuffle 优化
  6. Hbase 连接器支持异步维表查询和查询缓存 
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/389378.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号