栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

实践数据湖iceberg 第六课 从kafka写入到iceberg失败问题 解决

实践数据湖iceberg 第六课 从kafka写入到iceberg失败问题 解决

实践数据湖iceberg 系列文章目录

实践数据湖iceberg 第一课.
实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式.
实践数据湖iceberg 第三课 在sqlclient中,以sql方式从kafka读数据到iceberg.
实践数据湖iceberg 第四课 在sqlclient中,以sql方式从kafka读数据到iceberg(升级版本到flink1.12.7).
实践数据湖iceberg 第五课 hive catalog特点.
实践数据湖iceberg 第六课 从kafka写入到iceberg失败问题 解决.
实践数据湖iceberg 第七课 实时写入到iceberg.


文章目录

实践数据湖iceberg 系列文章目录前言1. 解决方案2. 重跑flink sql总结


前言

遇到的问题: 前面3节课,从kafka读数据写入到iceberg,不报错,就是没有数据写成功,
多次查看官网 https://iceberg.apache.org/#flink/, 没有解决方案。

终极解决方案: 增加chepoint配置。没有checkpoint,就没有输出

吐槽: 只看官网,就是笨蛋, 估计官网写文档的人都没有实践过,是否换个人去写官网


1. 解决方案

修改配置文件
$Flink_HOME/conf/flink-conf.yaml ,增加checkpoint参数

restart-strategy fixed-delay
restart-strategy.fixed-delay.attempts 3
restart-strategy.fixed-delay.delay 30s
execution.checkpointing.interval 1min
execution.checkpointing.externalized-checkpoint-retention RETAIN_ON_CANCELLATION
state.checkpoints.dir hdfs:///flink/checkpoints
state.backend filesystem
2. 重跑flink sql

前2节课的内容重跑,发现,数据进去data目录


总结 遇到问题,官网不行,找找百度
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/714426.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号