栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

小滴课堂后端面试题(11)~持续更新中

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

小滴课堂后端面试题(11)~持续更新中

一、描述下海量数据-数据库的⾏存储和列式存储的区别

回答
( 一)什么是⾏存储

1、传统的OLTP关系型数据库 都是⾏存储

2、⼀⾏中的数据在存储介质中以连续存储形式存在

3、适合随机的增删改查操作 或者 在⾏中选取所有属性的查询操作,结合索引提升性能

4、缺点

(1)查询的全部记录的某⼏个字段,但由于这些字段在各⾏数据单元中,⽽整个⾏特别⼤(字段特别多),程序必须不断读取每⼀条的⾏记录取对应的字段,使得读取效率⼤⼤降低

(2)例⼦:找某个订单的话,就很⽅便,订单的全部信息都能获取; 但找全部订单总⾦额就需要遍历多个数据

(二)什么是列式存储

1、存储结构化数据时,在底层的存储介质上,数据是以列的⽅式来组织的

2、存储完若⼲条记录的⾸个字段后,再存储这些记录的第⼆个字段,然后再第三个字段、第四个字段…

3、查询时只有涉及到的列会被读取,⽽不需要全表扫描,可以显著减少IO消耗,并降低查询响应时间

4、例⼦:查询全部成交额,只需要把订单⾦额拿出来即可

(三)总结

1、描述的是底层存储介质上,数据的组织形式,哪种组织对应哪种业务需求

2、列存储在聚合、统计等操作性能会优于⾏存储

3、列存储将多⾏记录的列连续存储在⼀起,⼀列接着⼀列

4、列式存储是同个数据类型,会进⾏数据压缩率更⾼,更省空间

5、列存储数据更新成本较⾼,⼀般适合读多写少的场景,适合OLAP 分析型系统

二、内存不⾜时-Redis的Key淘汰策略你知道多少

回答

(一)前置

1、redis在占⽤的内存超过指定的maxmemory之后,

2、通过maxmemory_policy确定redis是否释放内存以及如何释放内存

3、提供多种策略

(二)策略

1、volatile-lru(least recently used)

最近最少使⽤算法,从设置了过期时间的键中选择空转时间最⻓的键值对清除掉;

2、volatile-lfu(least frequently used)

最近最不经常使⽤算法,从设置了过期时间的键中选择某段时间之内使⽤频次最⼩的键值对清除掉;

3、volatile-ttl

从设置了过期时间的键中选择过期时间最早的键值对清除(删除即将过期的)

4、volatile-random

从设置了过期时间的键中,随机选择键进⾏清除;

5、allkeys-lru

最近最少使⽤算法,从所有的键中选择空转时间最⻓的键值对清除;

6、allkeys-lfu

最近最不经常使⽤算法,从所有的键中选择某段时间之内使⽤频次最少的键值对清除;

7、allkeys-random

所有的键中,随机选择键进⾏删除;

8、noeviction

不做任何的清理⼯作,在redis的内存超过限制之后,所有的写⼊操作都会返回错误;但是读操作都能正常的进⾏;

(三)config配置的时候 下划线_的key需要⽤中横线-

127.0.0.1:6379> config set maxmemory_policy
volatile-lru
(error) ERR Unsupported CONFIG parameter:
maxmemory_policy
127.0.0.1:6379> config set maxmemory-policy
volatile-lru
OK
三、数据结构很多程度解决程序的性能-介绍下LSM⽇志结构合并树

回答

(一)先明⽩⼀个测试数据

1、磁盘顺序读写和随机读写的性能差距⼤概是1千到5千倍之间

(1)连续 I/O 顺序读写,磁头⼏乎不⽤换道,或者换道的时间很短,性能很⾼,⽐如0.03 * 2000 MB /s

(2)随机 I/O 随机读写,会导致磁头不停地换道,造成效率的极⼤降低,0.03MB/s

(二)什么是LSM-Tree(⼩滴课堂-⽼王家⾥的喷泉)

1、全称 Log-Structured Merge-Tree ⽇志结构合并树,但不是树,⽽是利⽤磁盘顺序读写能⼒,实现⼀个多层读写的存储结构

(1)是⼀种分层,有序,⾯向磁盘的数据结构,核⼼思想是利⽤了磁盘批量的顺序写要远⽐随机写性能⾼出很多

(2)⼤⼤提升了数据的写⼊能⼒,但会牺牲部分读取性能为代价

(3)HBase、LevelDB、ClickHouse这些NoSQL存储都是采⽤的类LSM树结构

(4)在 NoSQL 系统⾥⾮常常⻅,基本已经成为必选⽅案, 为了解决快速读写的问题去设计的

2、分两个部分理解

(1)Log-Structured⽇志结构的,打印⽇志是⼀⾏⾏往下写,不需要更改,只需要在后边追加就好了

(2)Merge-tree ,合并就是把多个合成⼀个,⾃上⽽下

3、LSM-tree 是⼀个多层结构,就更⼀个喷泉树⼀样,上⼩下⼤

(1)专⻔为 key-value 存储系统设计的,最主要的就两个个功能

①写⼊put(k,v)

②查找 get(k)得到v

(2)⾸先是内存的 C0 层,保存了所有最近写⼊的 (k,v),这个内存结构是有序的,且可以随时原地更新,同时⽀持随时查询

(3)接下去的 C1 到 Ck 层都在磁盘上,每⼀层都是⼀个有序的存储结构

(4)降低⼀点读性能,通过牺牲⼩部分读性能,换来⾼性能写

4、写⼊流程

(1)put 操作,⾸先追加到写前⽇志(Write Ahead Log),然后加到C0 层

(2)当 C0 层的数据达到⼀定⼤⼩,就把 C0 层 和 C1 层合并,这个过程就是Compaction(合并)

(3)合并出来的新的C1 会顺序写磁盘,替换掉原来的C1

(4)当 C1 层达到⼀定⼤⼩,会和下层继续合并,合并后删除旧的,留下新的

5、查询流程

(1)最新的数据在 C0 层,最⽼的数据在 Cn 层

(2)查询也是先查 C0 层,如果没有要查的数据,再查 C1,逐层查下去直到最后⼀层

6、缺点

(1)读放⼤

读取数据时实际读取的数据量⼤于真正的数据量,在LSM树中需要先在C0查看当前key是否存在,不存在继续从Cn层中寻找

(2)写放⼤

写⼊数据时实际写⼊的数据量⼤于真正的数据量,在LSM树中写⼊时可能触发Compact操作,导致实际写⼊的数据量远⼤于该key的数据量

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/978133.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号