Spark实时单词计数（WordCount）

前言：
这里我们使用netcat来作为数据源，在cmd中使用netcat向本机固定端口发送数据，而实时将单词书数量输出在控制台。

依赖

   

        
            org.apache.spark
            spark-core_2.12
            3.0.1
        

        
            org.apache.spark
            spark-streaming_2.12
            3.1.2
            provided
        

    

java代码

public class WordCount {
    public static void main(String[] args) throws InterruptedException {

        //最少要两个本地线程，一个负责接收数据，一个负责处理数据
        SparkConf conf = new SparkConf().setAppName("xiaobai").setMaster("local[2]");

        JavaStreamingContext context = new JavaStreamingContext(conf,Duration.apply(3000));

        // 过滤日志打印
        context.sparkContext().setLogLevel("ERROR");

        JavaReceiverInputDStream data = context.socketTextStream("localhost", 8888);

        data.flatMap(new FlatMapFunction() {
            @Override
            public Iterator call(String s) throws Exception {
                return Arrays.asList(s.split(" ")).iterator();
            }
        }).mapToPair(new PairFunction() {
            @Override
            public Tuple2 call(String s) throws Exception {
                return new Tuple2<>(s, 1);
            }
        }).reduceByKey(new Function2() {
            @Override
            public Integer call(Integer integer, Integer integer2) throws Exception {
                return integer + integer2;
            }
        }).print();


        context.start();
        context.awaitTermination();
        context.stop();
    }
}

cmd指令：

控制台输出：