栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Flink-Day01

Flink-Day01

一.产生

        背景:实时数据处理所带来的价值远远大于离线处理,所以需要一个优秀的流处理框架来进行流数据的处理操作.

        流数据:一行一行的数据记录

        一个优秀的流处理引擎标准要求:低延迟、高吞吐量、容错性、窗口时间语义化、编程效率高、运行效果好等

二.概念

        由Apache软件基金会开发的开源流处理框架,核心由Java和Scala编写的,应用与对有界和无界的数据流进行有状态的计算

        无界数据流:即为实时数据流        

        无界数据流:即为离线数据,批处理

2.1特点和应用场景

        可以在所有常见的集群环境中运行,以内存速度和任何规模进行计算。能够达到实时流处理引擎的全部标准。

        要求严格的实时流处理场景

2.2代码实现

        实现方式:java API        Scala API

        将实时和批处理均抽象成三个过程:Source->Transform->Sink

        丰富的API和算子操作,支持sql编程,复杂度并不高

三.版本介绍

        Flink早期就收到阿里的认可,并进行二次开发,名为Blink。

        Blink主要优化再用户体验方面,比如SQL、UI等

        在2019年反馈给Flink,并以Flink为主进行开发.学习使用的是1.13.1

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/629373.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号