栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

学习笔记Flink(六)—— Flink DataStream API编程

学习笔记Flink(六)—— Flink DataStream API编程

一、Flink程序构成
  1. 获取执行环境;

  2. 加载/创建初始数据;

  3. 编写对数据的转换操作;

  4. 指定计算结果存放的位置;

  5. 触发程序执行;


二、数据源

Collection 类型数据源

  • fromCollection(Seq)
  • fromCollection(Iterator)
  • fromElements(elements:_*)
  • fromParallelCollection(SplittableIterator)
  • generateSequence(from, to)

    查看(浏览器:node110::8081):(注意这个是随机分配到结点上的)

三、输出源
  • print() / printToErr() :把数据通过标准输出或异常输出进行打印
  • writeToSocket : 通过socket 进行数据输出;
    结点间传输:

    通过socket进行传输:

四、转换操作 4.1、值 -> 值

(注意先打开端口)

4.1.1、map函数

4.1.2、flatMap函数

4.1.3、filter函数


4.2、键值->键值 4.2.1、keyBy函数

4.2.2、reduce函数

使用keyBy(0)

使用keyBy(1)

4.2.3、keyBy+sum函数


我们可以观察到和上面reduce结果是一样的,而且会更为简洁,但是sum只能适用于一些特定情况。

4.2.4、keyBy+window函数

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/342645.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号