栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

【Flink】Flink 的分流操作

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

【Flink】Flink 的分流操作

分流

所谓的分流就是将一条数据去拆分成多条数据流, 就是基于一个DataStream , 来得到多个平等的DataStream
简单的代码实现 使用侧输出流

package com.dcit.chapter08;

import com.dcit.chacpter01.ClickSource;
import com.dcit.chacpter01.Event;
import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.ProcessFunction;
import org.apache.flink.util.Collector;
import org.apache.flink.util.OutputTag;

import java.time.Duration;

public class SplitStreamTest {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        SingleOutputStreamOperator stream = env.addSource(new ClickSource())
                .assignTimestampsAndWatermarks(WatermarkStrategy.forBoundedOutOfOrderness(Duration.ZERO)
                        .withTimestampAssigner(new SerializableTimestampAssigner() {
                            @Override
                            public long extractTimestamp(Event event, long l) {
                                return event.timestamp;
                            }
                        }));
        // 定义标签输出流
        OutputTag> bobTag = new OutputTag>("Bob"){};
        OutputTag> maryTag = new OutputTag>("Mary"){};

        SingleOutputStreamOperator splitStream = stream.process(new ProcessFunction() {
            @Override
            public void processElement(Event value, Context ctx, Collector out) throws Exception {
                if (value.user.equals("Mary") ) {
                	// 进行筛选Mary的数据放入标签为maryTag的侧输出流中
                    ctx.output(maryTag, Tuple3.of(value.user, value.url, value.timestamp));
                } else if (value.user.equals("Bob")) {
                     // 进行筛选Bob的数据放入标签为bobTag的侧输出流中
                    ctx.output(bobTag, Tuple3.of(value.user, value.url, value.timestamp));
                } else {
                    out.collect(value);
                }
            }
        });
	// 获取侧输出流的数据
     splitStream.getSideOutput(bobTag).print("bobTag");
     splitStream.getSideOutput(maryTag).print("maryTag");

        splitStream.print();


        env.execute();

    }
}




转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/946447.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号