栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

如何监听flinksql查询mysql的频率

如何监听flinksql查询mysql的频率

1.在mysql的目录下, 找到my.ini文件, 然后在其中加入:

[mysqld]
log = "D:/Mysql5.5.61/mysql_log.sql"

2.重启mysql服务
3.这时候在mysql中执行任意语句, 均能在D:/Mysql5.5.61/mysql_log.sql中查看到

flink sql mysql source lookup.cache.ttl

据测试, 本单位是ms, 并非s

以下实验均在本地中, 断点 JdbcRowDataLookupFunction

FOR SYSTEM_TIME AS OF 方式join

当有数据进来时, 每条数据均会到下面方法

阅读源码不难发现, 当在内存中查询不到数据时, 会去查询一次mysql, 然后再放入cache中, 如果没能在mysql中查出数据, 那么会在缓存中存放一个键值, 数据为空, 在ttl时间内, 就不会再去读取mysql中的数据, 真正做到缓存

普通join

加载时, 不会走JdbcRowDataLookupFunction, 而是走另外的加载类, 将数据从mysql中全部读取出来, 本任务就直接结束, 不会再去查mysql的数据, 但是注意: 如果是开窗聚合, 那么这种方式会直接报错

普通join, 一次性加载表中的数据, 因此需要多考虑下表的大小, flink状态后端内存是否能撑住

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/663261.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号