栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

flink- AsyncDataStream 异步处理

flink- AsyncDataStream 异步处理

1、AsyncDataStream有2个方法:unorderedWait表示数据不需要关注顺序,处理完立即发送,orderedWait表示数据需要关注顺序,为了实现该目标,操作算子会在该结果记录之前的记录为发送之前缓存该记录。这往往会引入额外的延迟和一些Checkpoint负载,因为相比于无序模式结果记录会保存在Checkpoint状态内部较长的时间。

代码案例:

        //异步查询:Flink处理数据时候,遇到比较耗时的操作时,需要异步处理数据。
        SingleOutputStreamOperator jsonObjectSingleOutputStream = AsyncDataStream
                .unorderedWait(
                        StreamOperator, new JDBCAsyncFunctionAnalysis(), 10 * 60 * 1000, TimeUnit.MICROSECONDS, 10).process(
                        new DataGovernanceFunction(context)
                ).setParallelism(opertatorPara);

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/747308.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号