栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

flink state backend状态后端

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

flink state backend状态后端

flink在从v1.12到v1.14的改版当中,其状态后端也发生了变化。今天想学习一下flink中的状态后端,发现网上的博客都是基于老版本的状态后端讲解的,也就是{MemoryStateBackend, FsStateBackend, RocksDBStateBackend},但是当我在使用1.14的flink写代码的时候,发现这些状态后端都已经被废弃了,新版本的状态后端是{HashMapStateBackend, EmbeddedRocksDBStateBackend}.
这里给出老版本和新版本关于状态后端的doc链接:老版本 | 新版本


下面来详细讲讲状态后端与checkpoint:首先我们要知道,两种状态后端选取了不同的方法去存放状态(hashmap将状态存放在堆内存中,rocksdb将状态存放在rocks数据库中),在读状态,写状态的过程中一个是用内存,一个是数据库。但是在做checkpoint时,其都是将状态写入到我们设置到的路径中。务必要将存取状态(正常作业中需要)和存取checkpoint(故障恢复需要)两个概念搞明白。

HashMapStateBackend

HashMapStateBackend将状态存放在JVM堆内存中,在平时存取状态的时候直接在内存中操作,所以速度很快,但是因为状态都放在内存中,所以如果状态超大的时候,可能会内存溢出导致状态失败。

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setStateBackend(new HashMapStateBackend());

在定期做checkpoint的时候,HashMapStateBackend会将状态写入到设置的的地址中进行存储:

env.getCheckpointConfig().setCheckpointStorage("file:///home/wxwmd/checkpoints");
EmbeddedRocksDBStateBackend

EmbeddedRocksDBStateBackend将状态存放在RocksDB数据库(一个分布式key-value数据库官网)中,此数据库默认保存在TaskManager上的本地磁盘上,在存取状态的时候,需要将对象进行序列化和反序列化,因此其作为状态存储的特点是:

  1. 速度上而言,因为要进行序列化/反序列化,因此比HashMapStateBackend要慢一些。
  2. 存储容量上,因为存储在磁盘上,要比HashMapStateBackend要大很多,可以说对容量几乎没有上面限制。

从官网中可以看到一个小提示,虽然rocksDB对整个状态的存储大小几乎每个限制,但是由于其是一个key-value存储,其对单个key或value的最大存储空间是2^31 bytes。对于尺寸会逐渐增加的状态(例如ListState),其尺寸可能会i超过这个值,从而造成存取失败。

要使用这个状态后端,需要增加依赖:


    org.apache.flink
    flink-statebackend-rocksdb_2.11
    1.14.4

然后就可以在代码中增加状态后端:

env.setStateBackend(new EmbeddedRocksDBStateBackend());

在做checkpoint时,EmbeddedRocksDBStateBackend也由一些有趣的特性:

  • incremental checkpoints(增量)
    这个增量checkpoint很好理解,我们知道数据库一般都会保存一份changelog来记录数据库所发生的变化,因此基于rocksdb,我们在生成checkpoint时就可以将去表示为:
    c h e c k p o i n t i + 1 = c h e c k p o i n t i + Δ i checkpoint_{i+1}=checkpoint_{i} + Delta_{i} checkpointi+1​=checkpointi​+Δi​
    其中 Δ i Delta_i Δi​表示从 c h e c k p o i n t i checkpoint_{i} checkpointi​到 c h e c k p o i n t i + 1 checkpoint_{i+1} checkpointi+1​的变化,我们只需要记录这个变化就可以根据之前的checkpoint得到当前的checkpoint。因此增量checkpoint生成速度更快,资源消耗更少。
    代码:
	env.setStateBackend(new EmbeddedRocksDBStateBackend(true)); // true表示开启incremental checkpoints

选择合适的状态后端

When deciding between HashMapStateBackend and RocksDB, it is a choice between performance and scalability. HashMapStateBackend is very fast as each state access and update operates on objects on the Java heap; however, state size is limited by available memory within the cluster. On the other hand, RocksDB can scale based on available disk space and is the only state backend to support incremental snapshots. However, each state access and update requires (de-)serialization and potentially reading from disk which leads to average performance that is an order of magnitude slower than the memory state backends.

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/952719.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号