栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

《大数据之路:阿里巴巴大数据实践》笔记——实时开发篇

《大数据之路:阿里巴巴大数据实践》笔记——实时开发篇

简介 实时任务特征

1、时效性高
2、常驻任务
3、性能要求高
4、应用局限性

流式技术架构

1、数据采集
2、数据处理
3、数据存储
4、数据服务

实时处理中的问题

1、去重指标

【精确去重】保存明细
【模糊去重】布隆过滤器、基数估计

2、数据倾斜

去重指标分桶
非去重指标分桶

3、事务处理

数据自动 ACK 、失败重发以及事务信息等机制

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/354599.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号