栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

大数据技术原理与应用 第三版 林子雨 期末复习(六) 十一章 流计算

大数据技术原理与应用 第三版 林子雨 期末复习(六) 十一章 流计算

大数据技术原理与应用 第三版 林子雨 期末复习(六) 十一章 流计算
  • 静态数据和流数据
    • 静态数据:
    • 流数据:
  • 批处理和流计算
  • 流计算要求
  • STROM
    • strom设计思想
    • Strom的工作流程
    • Spark Streaming 与 Storm的对比

静态数据和流数据 静态数据:

不会随着时间变化的数据。

流数据:

数据快速持续到达,潜在数据量无法估计
数据来源多,格式复杂
数据量大,但是并不关注存储,处理后的数据要么被丢弃要么被归类存储
注重整体价值,不注重个别数据价值
数据顺序颠倒,不完整系统将会出错

批处理和流计算

流计算要求

高性能
海量式
实时性
分布式
易用性
可靠性

STROM strom设计思想

1 Stream
Strom认为流数据是一个无限的Tuple序列
2 Spouts
Strom认为每个流数据都有一个源头,并把这个源头抽象为Spouts。Spouts会从外部读取流数据并将其抽象为Tuple
3 Bolts
Storm将Stream的状态转换过程抽象为Bolts
4 Topology
Strom将Spouts和Bolts组成的网络抽象成Topology。
5 Stream Grouping
Strom中的Stream Grouping 用于告知Topology如何再两个组件之间进行Tuple传送。

Strom的工作流程

Spark Streaming 与 Storm的对比

Spark Streaming无法实现毫秒级计算,Strom可以实现。
常用的流计算架还有Flink

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/682917.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号