栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Flink

Flink

Flink状态管理和容错机制 状态管理

flink的状态是什么?

  1. 由一个任务维护,并且用来计算某个结果的所有数据,都属于这个任务的状态(例如:map,flatmap就没有状态管理,每条数据可以直接执行,不依赖于其他任何数据)
  2. 状态存放在内存中,可以认为就是一个本地变量,可以被任务的业务逻辑访问
  3. Flink会进行状态管理,包括状态一致性、故障处理以及高效存储和访问,以便开发人员可以专注于应用程序的逻辑
算子状态
  • 特点
    a、作用范围:限定为每一个算子任务,同一个并行的任务所处理的所有数据均可以访问相同的状态
    b、状态对于同一个算子任务是共享的
    c、算子状态不能由相同或者不同的算子的任务访问
  • 数据结构
    a、列表状态(List state)
    将状态表示为一组数据的列表
    b、联合列表状态(Union list state)
    也将状态表示为数据的列表。它与常规列表状态的区别在于,在发生故障时,或者从保存点(savepoint) 启动应用程序时如何恢复
    c、广播状态(Broadcast state)
    如果一个算子有多项任务,而它的每项任务状态又都相同,那么这种特殊情况最适合应用广播状态。
键控状态
  • 特点
    a、键控状态是根据输入数据流中定义的键(key) 来维护和访问的
    b、Flink为每个key维护一个状态实例,并将具有相同键的所有数据,都分区到同一个算子任务中,这个任务会维护和处理这个key对应的状态
    c、当任务处理一条数据时, 它会自动将状态的访问范围限定为当前数据的key
  • 数据结构
    a、值状态(Value state)
    将状态表示为单个的值
    b、列表状态(List state)
    将状态表示为一组数据的列表
    c、映射状态(Map state)
    将状态表示为一-组Key-Value对
    d、聚合状态(Reducing state & Aggregating State)
    将状态表示为一个用于聚合操作的列表
状态后端
  • 每传入一条数据,有状态的算子任务都会读取和更新状态
  • 由于有效的状态访问对于处理数据的低延迟至关重要,因此每个并行任务都会在本地维护其状态,以确保快速的状态访问
  • 状态的存储、访问以及维护,由一个可插入的组件决定,这个组件就叫做状态后端(state backend)
  • 状态后端主要负责两件事:本地的状态管理,以及将检查点(checkpoint)状态写入远程存储
状态后端的选择
  • MemoryStateBackend:内存级的状态后端,会将键控状态作为内存中的对象进行管理,将他们存储在TaskManager的JVM堆上,而将checkpoint存储在JobManager的内存中。
    特点:快速,低延迟,但不稳定
  • FsStateBackend:持久化文件系统(FileSystem)的状态后端,对本地状态,和MemoryStateBackend一样,同时拥有内存级的本地访问速度,更好的容错保证
  • RocksDBStateBackend:将所有状态序列化后,存在本地的RocksDB中
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/460379.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号