栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Flink基本编程.wordcount实现思路

Flink基本编程.wordcount实现思路

环境:
并行度设置:
读取文件:
        文件中:readTextFile()
        端口:socketTextStream()

flatMap():
    两个泛型:输入in、输出out
    in.split(" ");for ( String s      :arr);out.collect(tuple2.of(word ,1)) 

注意 :tuple2.of (word,1) = new tuple2(woed,1),flink为java实现了元组

keyby( )
    两个泛型:输入in、输出out
    return in.f0

shuffle阶段

sum ("f1") 维护内部状态,为每个key维护一个累加器,更新累加器,维护累加器,将数据丢弃。

或者

.reduce(new ReduceFunction>() {
    @Override
    public Tuple2 reduce(Tuple2 value1, Tuple2 value2) throws Exception {
        return Tuple2.of(value1.f0,value1.f1+value2.f1);

文件当成流,一条条的消费,流批统一

env.execute();

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/758634.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号