栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

flink支持数据类型

flink支持数据类型

Flink 流应用程序处理的是以数据对象表示的事件流。所以在 Flink 内部,我们 需要能够处理这些对象。它们需要被序列化和反序列化,以便通过网络传送它们; 或者从状态后端、检查点和保存点读取它们。为了有效地做到这一点, Flink 需要明 确知道应用程序所处理的数据类型。 Flink 使用类型信息的概念来表示数据类型,并 为每个数据类型生成特定的序列化器、反序列化器和比较器。 Flink 还具有一个类型提取系统,该系统分析函数的输入和返回类型,以自动获 取类型信息,从而获得序列化器和反序列化器。但是,在某些情况下,例如 lambda 函数或泛型类型,需要显式地提供类型信息,才能使应用程序正常工作或提高其性 能。 Flink 支持 Java 和 Scala 中所有常见数据类型。使用最广泛的类型有以下几种。 1 基础数据类型 Flink 支持所有的 Java 和 Scala 基础数据类型, Int, Double, Long, String, … DataStream numberStream = env.fromElements( 1 , 2 , 3 , 4 ); numberStream.map(data -> data * 2 ); 2 Java 和 Scala 元组( Tuples )

3 Scala 样例类( case classes )

 

 4 Java 简单对象(POJOs)

 

 5 其它(Arrays, Lists, Maps, Enums, 等等)

Flink 对 Java 和 Scala 中的一些特殊目的的类型也都是支持的,比如 Java 的 ArrayList , HashMap , Enum 等等
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/422901.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号