栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

学习apache druid(1)——特性,场景

学习apache druid(1)——特性,场景

Introduction to Apache Druid · Apache Druid你再厉害,也没有官网厉害。

学习druid

 1.Columnar storage format. 列式存储,查询速度快,而且根据列类型不同可以采用不同的压缩方式和编码类型。(kudu也可以)

2.可拓展分布式系统,后面说的是能够处理每秒百万,听听就罢了,集群规模小了没这么牛。

3.并行处理,每台机器单独处理,结果再汇总

4.实时或批量摄取,意思是不像impala 数据更新了 还不能立马看到?

5.自愈,自平衡,易于操作,主要就是自平衡 感觉可以参考 hbase的rebalance

6.云存储不会丢失数据,其实就是数据存到hdfs上, 参考hbase和hive,比kudu存本地强

7.快速筛选的索引,查的快!!!

8.基于时间分区,通过时间分区 大大提高查询效率。必须直接或间接通过时间分区?留作疑问

9.算法牛逼,对于group这种好像比较牛

10.每隔一段时间数据预聚合。

目前看来 其实就是 7 8 9 10 这几个比较有特色。后面通过深入学习 再来说明问题

很多公司再用druid 你们也来用。

适合下面场景

1.插入数据非常快,但是更新一般 

2.大多数查询都是聚合操作,也就是group by  我要看2021年每月的总销售额,每个季度的环比同比啥的

3.查询不是特别的快 大概有0.1s-几s的延迟

4.数据有时间概念,因为德鲁伊设计的就是和时间有关

5.有大表和小表的关联

6.有一些列基数比较多。比如订单id  产品id 用户id  用户浏览网址, 用户手机号码,然后 你需要count或者order by这些数据

7.你想要从hdfs 或者kafka去读取数据

不适合

1.低延迟的更改数据

2.离线报告系统系统,根本不在乎查询速度。离线了还要啥速度

3.大表和大表关联,

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/663519.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号