栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

【Flink】Flink 写入 Clickhouse 大对象直接进入老年代 导致OOM

【Flink】Flink 写入 Clickhouse 大对象直接进入老年代 导致OOM

本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载。

文章目录
  • 1.概述
  • 2. 验证

1.概述

事情是这样的。使用开源的修改 https://github.com/ivi-ru/flink-clickhouse-sink flink http方式写入Clickhouse.

开始数据量小了没问题,最后数据量大了就会频繁OOM. 然后经过很长时间的排查

开始的现象是:【Flink】kafka Response from server for which there are no in-flight requests NETWORK_EXCEPTION

不是ck写入失败导致的因此和最新的代码没有什么关系

  1. 网络问题 您收到了 NETWORK_EXCEPTION,所以这应该告诉您与您生产的 Kafka Broker 的网络连接有问题。由于某种原
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/433714.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号