栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Flink开发环境搭建及WordCount

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Flink开发环境搭建及WordCount



    
        bigdata16
        com.shujia
        1.0-SNAPSHOT
    
    4.0.0

    Flink
    1.0

    
        8
        8
        1.11.2
        2.11
        2.11.12
        2.12.1
    

    
        
            org.apache.flink
            flink-walkthrough-common_${scala.binary.version}
            ${flink.version}
        

        
            org.apache.flink
            flink-streaming-scala_${scala.binary.version}
            ${flink.version}
        

        
            org.apache.flink
            flink-clients_${scala.binary.version}
            ${flink.version}
        

        
            org.apache.logging.log4j
            log4j-slf4j-impl
            ${log4j.version}
        

        
            org.apache.logging.log4j
            log4j-api
            ${log4j.version}
        

        
            org.apache.logging.log4j
            log4j-core
            ${log4j.version}
        
    

    
        
            
            
                org.apache.maven.plugins
                maven-compiler-plugin
                3.1
                
                    1.8
                    1.8
                
            

            
            
                org.scala-tools
                maven-scala-plugin
                2.15.2
                
                    
                        
                            compile
                            testCompile
                        
                    
                
            
        
    

package com.shujia.core

import org.apache.flink.streaming.api.scala._

object Demo01WordCount {
  def main(args: Array[String]): Unit = {
    
    val env: StreamExecutionEnvironment= StreamExecutionEnvironment.getExecutionEnvironment

    //默认并行度等于CPU的逻辑核数 相当于是任务的一个并行度
    env.setParallelism(2)

    
    val linesDS: DataStream[String] = env.socketTextStream("master", 8888)

    //对每一条数据进行切分
    val wordsDS: DataStream[String] = linesDS
      .flatMap(line => line.split(","))

    //将每个单词变成 K V 格式
    val wordsKVDS: DataStream[(String, Int)] = wordsDS.map(word => (word, 1))

    //按照每个单词进行分组
    val keyByDS: KeyedStream[(String, Int), String] = wordsKVDS.keyBy(kv => kv._1)

    //统计每个单词的数量
    val wordCntDS: DataStream[(String, Int)] = keyByDS.sum(1)

    //将结果打印
    wordCntDS.print()

    //启动任务
    env.execute("Demo01WordCount")
  }
}

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/966900.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号