栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

flink 之 checkpoint 测试

flink 之 checkpoint 测试

环境:

CentOS7.6

CDH6.3.1

Flink1.4.0

PYTHON3.7.12

其中,Flink已经集成到CDH6.3.1中,如需获取集成过程,请关注本博客。

简介:

        从一个例子出发,模拟一遍checkpoint的设置,基于checkpoint的任务的运行时,及模拟job出现异常后从checkpoint恢复的过程。

以下为python脚本(checkpoint_test.py):

import logging

import sys

from pyflink.table import (EnvironmentSettings, TableEnvironment, DataTypes)

from pyflink.datastream import StreamExecutionEnvironment, TimeCharacteristic, CheckpointingMode, ExternalizedCheckpointCleanup, RocksDBStateBackend, FsStateBackend, MemoryStateBackend

from pyflink.table import StreamTableEnvironment, EnvironmentSettings, TableConfig, DataTypes, CsvTableSink, WriteMode, SqlDialect

from pyflink.table.udf import ScalarFunction, udf, udaf

from pyflink.table import AggregateFunction, DataTypes, ListView

from

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/762218.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号