流式技术架构1、时效性高
2、常驻任务
3、性能要求高
4、应用局限性
实时处理中的问题1、数据采集
2、数据处理
3、数据存储
4、数据服务
1、去重指标
【精确去重】保存明细
【模糊去重】布隆过滤器、基数估计
2、数据倾斜
去重指标分桶
非去重指标分桶
3、事务处理
数据自动 ACK 、失败重发以及事务信息等机制

流式技术架构1、时效性高
2、常驻任务
3、性能要求高
4、应用局限性
实时处理中的问题1、数据采集
2、数据处理
3、数据存储
4、数据服务
1、去重指标
【精确去重】保存明细
【模糊去重】布隆过滤器、基数估计
2、数据倾斜
去重指标分桶
非去重指标分桶
3、事务处理
数据自动 ACK 、失败重发以及事务信息等机制