除了由DataStream操作产生的主流之外,您还可以产生任意数量的额外的端输出结果流。结果流中的数据类型不必与主流流中的数据类型匹配,不同端输出的类型也可以不同。当您想要分割数据流时,这个操作可能很有用,因为您通常必须复制数据流,然后从每个流中过滤出您不希望拥有的数据。
使用旁路输出时,首先需要定义用于标识旁路输出流的 OutputTag:
// 这需要是一个匿名的内部类,以便我们分析类型 OutputTagoutputTag = new OutputTag ("side-output") {};
注意 OutputTag 是如何根据旁路输出流所包含的元素类型进行类型化的。
可以通过以下方法将数据发送到旁路输出:
- ProcessFunction
- KeyedProcessFunction
- CoProcessFunction
- KeyedCoProcessFunction
- ProcessWindowFunction
- ProcessAllWindowFunction
你可以使用在上述方法中向用户暴露的 Context 参数,将数据发送到由 OutputTag 标识的旁路输出。这是从 ProcessFunction 发送数据到旁路输出的示例:
DataStreaminput = ...; final OutputTag outputTag = new OutputTag ("side-output"){}; SingleOutputStreamOperator mainDataStream = input .process(new ProcessFunction () { @Override public void processElement( Integer value, Context ctx, Collector out) throws Exception { // 发送数据到主要的输出 out.collect(value); // 发送数据到旁路输出 ctx.output(outputTag, "sideout-" + String.valueOf(value)); } });
你可以在 DataStream 运算结果上使用 getSideOutput(OutputTag) 方法获取旁路输出流。这将产生一个与旁路输出流结果类型一致的 DataStream:
final OutputTagoutputTag = new OutputTag ("side-output"){}; SingleOutputStreamOperator mainDataStream = ...; DataStream sideOutputStream = mainDataStream.getSideOutput(outputTag);
一个demo
package com.stream.streaming.splitflow;
import com.happy.common.model.MetricEvent;
import com.happy.common.utils.KafkaConfigUtil;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.ProcessFunction;
import org.apache.flink.util.Collector;
import org.apache.flink.util.OutputTag;
public class SideOutput {
private static final OutputTag machineTag = new OutputTag("machine");
private static final OutputTag dockerTag = new OutputTag("docker");
private static final OutputTag applicationTag = new OutputTag("application");
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
// 构建数据源
DataStreamSource metricEventDataStreamSource = KafkaConfigUtil.buildSource(env);
SingleOutputStreamOperator sideOutputResult = metricEventDataStreamSource.process(new ProcessFunction() {
@Override
public void processElement(MetricEvent metricEvent, Context context, Collector collector) throws Exception {
String s = metricEvent.getTags().get("type");
switch (s) {
case "machine":
context.output(machineTag, metricEvent);
case "docker":
context.output(dockerTag, metricEvent);
case "application":
context.output(applicationTag, metricEvent);
default:
collector.collect(metricEvent);
}
}
});
DataStream docker = sideOutputResult.getSideOutput(dockerTag);
DataStream application = sideOutputResult.getSideOutput(applicationTag);
DataStream machine = sideOutputResult.getSideOutput(machineTag);
docker.print();
application.print();
machine.print();
env.execute("SideOutput App start");
}
}



