非关系型数据库。解决高并发/高可用/高扩展性等一系列问题产生的数据库解决方案。不能完全替代关系型数据库,只能作为关系型数据库的一个良好的补充
NoSql分类:- 键值对形式(Key-Value)存储数据库
典型应用:内容缓存,主要用于处理大量数据的高访问负载。数据模型:一系列键值对 劣势:存储的数据缺少结构化
- 列存储数据库
典型应用:分布式文件系统 数据模型:以列式存储,将同一列的数据存在一起 对于数据的分析有相当大的优势
- 文档型数据库
典型应用:Web应用 (类似于Json格式)
- 图形(Graph)数据库
典型应用:社交网络
Redis基本概念:使用C语言开发的一个高性能键值数据库。通过一些键值类型来存储数据。键值类型:String、Hash、List、Set、Zset(有序Set)。
(Q:List和Set的区别是啥? A:List是数组 可重复并且有存入顺序。Set:Set类似一种集合的概念 不可重复并且没有顺序。)
特点:- 开源的Key-Value存储系统
- 与Membercache相比,支持存储的value类型更多
- 数据都支持push/pop,add/remove 以及其他取交并集和差集等更丰富的操作,这些操作都是原子性的。
- 支持不同方式的排序
- 数据都是存储在内存中,不消耗I/O操作
- 可以支持持久化(RDB和AOF) 支持周期性的把数据写入磁盘或者把修改操作写入追加的记录文件
- 支持集群搭建:主从同步、哨兵模式等
- 单线程+多路IO复用
keys* 查看当前库的所有key exists key 查看key是否存在 type key 查看key的类型 del key 删除key unlink key 根据value选择非阻塞删除 (仅将keys从keyspace元数据中删除,真正的删除会在后续异步操作) expire key second 给给定的key设置过期时间 ttl key 查看key还有多少秒过期(-2表示已经过期 -1表示永不过期) select index 切换你的redis库(redis有0-15的库) dbsize 查看当前redis的key的数量 flushdb 清空当前数据库 flushall 通杀全部数据库 删库跑路Redis字符串(String) 简介:
String是redis最基本的数据类型,一个key对应一个value
String类型是二进制安全的。意味着Redis的string可以包含任何数据,比如jpg图片或者序列化的对象。
一个Redis中字符串value最多可以是512M
常用命令:set添加键值对 参数: *NX:当前数据库中key不存在时,可以将key-value添加数据库 *XX:当前数据库中key存在时,可以将key-value添加数据库,与NX参数互斥 *EX:key的超时秒数 *PX:key的超时毫秒数,与EX互斥 get 查询对应键值 append 将给定的 追加到原值的末尾 setnx 只有key不存在时,添加键值对 strlen 获取值的长度 incr 将key中存储的数字值增1 只能对数字值操作,如果为空,新增值为1 decr 将key中存储的数字值减1 同 incrby/decrby <步长> 将key中存储的数字值增减。自定义步长 原子性:所谓原子操作是指不会被线程调度机制打断的操作。 这种操作一旦开始,就一直运行到结束,中间不会有任何context switch(切换到另一个线程) (1)在单线程中,能够在单条指令完成的操作都可以称为原子操作 因为中间不会发生线程切换 (2)在多线程中,不能被其他进程(线程)打断的操作就叫做原子操作 Redis单命令的原子性主要得益于Redis的单线程
mset数据结构:同时设置一个或多个key-value键值对 mget ... 同时获取一个或多个value msetnx ... 同时设置一个或多个key-value,当且仅当所有给定key不存在时 原子性,要么都成功,要么都失败! getrange <起始位置><结束位置> 获取值的范围 setrange <起始位置> 用 覆盖 所存储的字符串值,从起始位置开始(索引从0开始) setex <过期时间> 设置键值的同时,设置过期时间,单位秒 getset 以旧换新,设置了新值同时获得旧值
String的数据结构就是简单动态字符串(Simple Dynamic String SDS)。是可以修改的字符串,内部结构实现上类似于Java的ArrayList,采用预分配冗余空间的方式来减少内存的频繁分配。
Redis列表(List) 简介单键多值。
Redis列表是简单的字符串列表,按照插入顺序排序。你可以添加一个元素到列表的头部或者尾部。
它的底层实际是个双向链表,对两端的操作性能很高,通过索引下标的操作中间的节点性能会较差。
常用命令lpush/rpush数据结构从左边/右边插入一个或者多个值 lpop/rpop 从左边/右边吐出一个值 值在键在,值光键亡 rpoplpush 从 列表右边吐出一个值插入到 按照索引下标获得元素(从左到右) lindex 按照索引下标获取元素(从左到右) llen 获得列表长度 linsert before/after 在value的前后面插入 插入值 lrem 从左边删除n个value(从左到右) lset 将列表key下标为index的值替换成vaule
List的数据结构为快速链表quickList。
首先在列表元素较少的情况下会使用一块连续的内存存储,这个结构是ziplist,也就是压缩列表。
它将所有的元素紧挨着一起存储,分配的是一块连续的内存
当数据量比较多的时候才会改成quickList。
因为普通的链表需要的附加指针空间太大,会比较浪费空间。比如这个列表里存的只是int类型的数据,结构上还需要两个额外的指针prev和next。
Redis将链表和ziplist结合起来组成了quickList。也就是将多个ziplist使用双向指针串来使用。这样既满足了快速的插入删除性能,又不会出现太大的空间冗余。
Redis集合(Set) 简介Redis set对外提供的功能与list类似是一个列表的功能,特殊之处在于set是可以自动排重的,当你需要存储一个列表数据,又不希望出现重复数据时,set是一个很好的选择。并且set提供了判断某个成员是否在一个set集合内的重要接口。这个也是list所不能提供的。
Redis的Set是String类型的无序集合。底层就是一个value为null的hash表,所以添加,删除,查找的复杂度都是o(1)
一个算法,随着数据的增加,执行时间的长短,如果是o(1),数据增加,查找数据的时间不变。
常用命令sadd数据结构... 将一个或多个member元素加入到集合key中。已经存在的member将忽略 smembers 取出集合中所有值 sismember 判断集合key中是否含有value值。 scard 返回该集合的元素个数 srem 删除集合中的某个元素 spop 随机从集合中吐出一个值 srandmember 随机从集合中吐出n个值。不会从集合中删除 smove 把集合中一个value从一个集合移动到另一个集合 sinter 返回两个集合的交集元素 sunion 返回两个集合的并集元素 sdiff 返回两个集合的差集元素(key1中的,不包含key2的)
Set数据结构是dict字典,字典使用hash表实现的。
Java中的HashSet的内部实现使用的是HashMap,只不过所有的value都指用同一个对象。Redis的set结构内部也是使用hash结构。所有的value都指向同一个内部值。
Redis哈希(Hash) 简介Redis hash是一个键值对集合
Redis hash是一个string类型的field和value的映射表,hash特别适合存储对象。类似Java里面的Map
hset数据结构给key集合中的键赋值 hget 从 集合 取出value hmset 批量设置hash的值 hexists 查看哈希表key中,给定 是否存在 hkeys 列出该hash集合的所有field hvals 列出该hash集合的所有value hincrby 为哈希表key中的域field的值增量1 -1 hsetnx 将哈希表key中域field的值设置为value,当且仅当域field不存在
Hash类型对应的数据结构是两种:ziplist压缩列表,hashtable哈希表。当field-value长度较短且个数较少的时候,使用ziplist,否则使用hashtable。
Redis有序集合(Zset) 简介有序集合和普通集合非常相似,是一个没有重复元素的字符串集合。
不同之处是有序集合每个成员都关联了一个评分的概念,这个评分被用来按照从最低到最高的方式排序集合中的成员。集合的成员是唯一的,但是评分可以是重复了。
因为元素是有序的,所以你也可以很快的根据评分或者次序来获取一个范围的元素。
访问有序集合的中间元素也是非常快的,因此你能够使用有序集合作为一个没有重复成员的智能列表。
常用命令zadd数据结构将一个或多个menber元素及其score值加入到有序集合key中 zrange [withscores] 返回有序集key中,下标在start和stop之间的元素 带WITHSCORES,可以让评分一起和值返回到结果集 zrangebysocre [withsocres][limit offset count] 返回有序集key中,所有score值介于min和max之间(包括等于min和max)的成员。有序集成员按score值递增次序排列 zrevrangebyscore [同上] 同上,改为从大到小排列 zincrby 为元素的score增量 zrem 删除该集合下,指定值的元素 zcount 统计该集合,分数区间内的元素个数 zrank 返回该值在集合中的排名,从0开始
不想写 下次补充
Redis配置文件介绍-
配置大小单位,开头定义了一些基本的度量单位,只支持单位,只支持bytes,不支持bit,大小写不敏感
-
网络相关配置,默认情况bind=127.0.0.1 只能接受本机的访问请求
不写的情况下,无限制接受任何ip地址的访问
生产环境肯定要写你的应用服务器的地址;服务器是需要远程访问的,所以需要将其注释掉
如果开启了protected-mode,那么在没有设定bind ip且没有密码的情况下,redis只允许接受本机的响应
- tcp-backlog
设置tcp的backlog,backlog其实是一个连接队列,backlog队列总和=未完成三次握手队列+已经完成三次握手队列。
在高并发环境下需要高backlog值来避免慢客户端连接问题。
注意linux内核会将这个值减小到/proc/sys/net/core/somaxconn的值(128),所以需要确认增大/proc/sys/net/core/somaxconn和/proc/sys/net/ipv4/tcp_max_syn_backlog(128)两个值来达到想要的效果。
- 通用
守护进程 daemonize yes
pidfile 存放pid文件的位置,每个实例会产生一个不同的pid文件
loglevel 指定日志级别,Redis总共支持四个级别:debug、verbose、notice、warning,默认为notice
logfile 日志文件名称
database 设定库的数量 默认为16 默认数据库为0,可以使用select命令切换数据库
- 安全
可以设置密码
- 限制
设置redis同时可以与多少个客户端进行连接
默认情况下为10000个客户端
如果达到了此极限,redis会拒绝新的连接请求,并且向这些连接方发出max number of clients reached以作回应
Redis发布和订阅 概念Redis发布订阅是一种消息通信模式:发送者发送消息,订阅者接受消息。
Redis客户端可以订阅任意数量的频道
Redis新数据类型 Bitmaps 简介:现代计算机用二进制(位)作为信息的基础单位,1个字节等于8位,例如“abc”字符串是由3个字节组成,但在实际计算机储存时将其用二进制表示,“abc”分别对应的ASCII码分别是97、98、99,对应的二进制是0110001、01100010、01100011。
合理的使用操作位能够有效的提高内存使用率和开发率
Redis提供了Bitmaps这个数据类型可以实现对位的操作
(1)Bitmaps本身不是一种数据类型,实际上就是字符串,但是它可以对字符串的位进行操作。
(2)Bitmaps单独提供了一套命令,所以在Redis中使用Bitmaps和使用字符串的方法不太相同。可以把Bitmaps想象成一个以位为单位的数组,数组的每个单元只能存储0和1,数组的下标在Bitmaps叫做偏移量。
命令setbitHyperLoglog 简介设置bitmaps中某个偏移量的值 gitbit 获取bitmaps中某个偏移量的值 bitcount 统计字符串被设置为1的bit数
主要用于作基数的类型操作
命令pfaddGeospatial 简介加入对象 pfcount 查看基数数量 pfmerge [sourcekey...] 将一个或多个HLL合并后的结果存储在另一个HLL中,比如每月活跃用户可以使用每天的活跃用户来合并计算可得。
增加了对GEO类型的支持。GEO,geographic,地理信息的缩写。该类型就是元素的2维坐标。在地图上就是经纬度。Redis基于该类型,提供了经纬度设置,查询,范围查询,距离查询,经纬度hash等常见操作
命令geoaddRedis事务 定义添加地理位置 注意:两级无法直接添加,一般会下载城市数据,通过java一次性导入 有效的经度从-180度到180度,有效的维度从-85到85 已经添加的数据,是无法再次往里面添加的 geopos 获得指定地区的坐标值 geodist [m/km/mi/ft] georadius <经度><维度> m/km/mi/ft 以给定的经纬度为中心 找出某一半径内的元素
Redis事务是一个单独的隔离操作:事务中的所有命令都会序列化、按顺序的执行。事务在执行过程中,不会被其他客户端发送来的命令请求所打断。
Redis事务的主要作用就是串联多个命令防止别的命令插队。
Multi、Exec、discard从输入Multi命令开始,输入的命令都会依次进入命令队列中,但不会执行,直到输入Exec后,redis会将之前的命令队列中的命令依次执行。discard类似于回滚操作
事务错误处理在组队中某个命令出现了错误,执行时整个的所有队列都会被取消
如果执行阶段某个命令报出了错误,则只有报错的命令不会被执行,其他的命令会执行。不会回滚
Redis持久化- RDB(Redis DataBase)
- AOF(Append of FIle)
在指定的时间间隔中将内存的数据集快照写入磁盘,也就是行话讲的Snapshot快照,它恢复时是将快照文件直接读到内存里
执行过程Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程结束了,再用这个临时文件替换上次持久化好的文件。整个过程中,主进程是不进行任何IO操作的。这就确保了极高的性能。如果需要大规模数据的恢复,且对于数据恢复的完整性不那么敏感,那RDB方式要比AOF方式更加高效。
缺点:最后一次持久化的数据可能丢失
dump.rdb文件在redis.conf中配置文件名称时,默认为dump.rdb
特点- 适合大规模的数据恢复
- 对数据完整性和一致性要求不高更适合使用
- 节省磁盘空间
- 恢复速度快
- Fork的时候,内存的数据被克隆了一份,大致需要2倍的膨胀性需要考虑
- 虽然Redis在fork时使用了写时拷贝技术,但是如果数据庞大时还是比较消耗性能
- 在备份周期在一定间隔时间做一次备份,所以如果redis意外down掉的话,就会丢失最后一次快照后的所有修改。
以日志的形式来记录每个写操作(增量保存),将Redis执行过的所有写的指令记录下来(读操作不记录),只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据,换言之,redis重启的话就根据日志文件的内容将写指令从前到后执行一次完成数据的恢复工作。
执行过程(1)客户端的请求写命令被append追加到AOF缓冲区内;
(2)AOF缓冲区根据AOF持久化策略将操作SYNC同步到磁盘的AOF文件中
(3)AOF文件大小超过重写策略或手动重写时,会对AOF文件进行rewrite重写,压缩AOF文件容量。
(4)当Redis服务重启时候,会重新加载AOF文件中的写操作达到数据恢复的目的;
AOF同步频率设置- appendfsync always
始终同步,每次Redis的写入都会立刻记入日志;性能较差但是完整性比较好
- appendfsync everysec
每秒同步,每秒记入日志一次,如果宕机,本秒的数据可能丢失
- appendfsync no
redis不主动进行同步,把同步时机交给操作系统
Rewrite压缩 优势- 备份机制更加稳定,丢失数据概率更低
- 可读的日志文件,通过操作AOF文件,可以处理误操作
- 比起RDB占用更多的磁盘空间
- 恢复备份速度要慢
- 每次读写都同步的话,有一定的性能压力
- 存在哥别Bug,造成恢复不能
- RDB持久化方式能够在指定的时间间隔对你的数据进行快照存储
- AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以redis协议追加保存每次写的操作到文件末尾
- Redis还能对AOF文件进行后台重写,使得AOF文件的体积不那么大
- 只做缓存:如果你只希望你的数据在服务器运行的时候存在,你也可以不是用任何持久化方式
- 同时开启两种持久化方式
- 在这种情况下,当redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF保存的数据要比RDB文件保存的数据集要完整
- RDB的数据不实时,同时使用两者时服务器重启也只会找AOF文件。那要不要使用AOF呢?
- 建议不要,因为RDB更适用于做备份数据库(AOF在不断变化不好备份),快速重启,而且不会有AOF可能潜在的Bug,留着作为一个万一的手段
- 主机数据更新后根据配置和策略,自动同步到备机的master/slave机制,Master以写为主,Slave以读为主
- 优点:
读写分离,性能扩展,减少服务器压力
容灾快速恢复,从服务器挂掉之后能读从节点
原理- 从连接上主服务器之后,从服务器会向主服务器发送数据同步的消息(sync)。
- 主服务器接到从服务器发送过来的同步消息,把主服务器数据进行持久化到rdb文件,把rdb文件发送到从服务器,从服务器拿到rdb文件进行读取
- 每次主服务器进行写操作之后,和从服务器进行数据同步
反客为主的自动版,能够后台监控主机是否故障,如果故障了根据投票自动的将从库转换为主库
增加配置文件填写以下内容
sentinel monitor mymaster 127.0.0.1 6379 1 mymaster为监控对象起的服务器名称 1为至少有多少个哨兵同意迁移的数量投票策略
选择条件依次为
- 选择优先级靠前的的从服务器
- 选择偏移量最大的
- 选择runid最小的从服务器
优先级指在redis.conf中slave-priority,值越小优先级越高
偏移量指原主机数据最全的
每个redis实例启动后都会随机生成一个40位的runid
Redis集群Q1:容量不够?redis如何进行扩容?
Q2:并发写操作,redis如何分摊?
可以使用Redis的无中心化集群解决
Redis集群实现了对Redis的水平扩容,即启动了N个redis节点,将整个数据库分布存储在这N个节点中,每个节点存储总数据的1/n。
Redis集群通过分区来提供一定程度的可用性:即使集群中有一部分节点失效或者无法进行通讯,集群也可以继续处理命令请求。
配置修改在配置文件中设置
cluster-enabled yes 打开集群模式 cluster-config-file nodes-6379.conf 设定节点配置文件名 cluster-node-timeout 15000 设定节点失联时间,超过该时间,集群自动进行主从切换Slots
一个Redis集群包含16384个插槽(hash slot),数据库中的每个键都属于这16384插槽的其中一个,集群使用公式CRC16(key)%16384来计算key属于哪个插槽,其中CRC16语句用于计算键key的CRC16校验和。
集群中的每个节点负责处理一部分插槽。举个例子,如果一个集群有3个主节点
节点A负责处理0号-5460号插槽
节点B负责处理5461-10922号插槽
节点C负责处理10923-16383号插槽 (负载均衡?)
Redis应用问题解决 缓存穿透一个一定不存在缓存以及查询不到的数据,由于缓存是不命中时被动写的,并且处于容错考虑,如果从存储层查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到存储层去查询,失去了缓存意义
解决方案:- 对空值缓存:如果一个查询返回的数据为空(不管数据存不存在),我们仍然把这个空结果进行缓存,设置空结果的过期时间会很短,最长不超过五分钟
- 设置可访问的名单(白名单)
使用bitmaps类型定义一个可以访问的名单,名单id作为bitmaps的偏移量,每次访问和bitmaps里面的id进行比较,如果访问id不在bitmaps里,进行拦截,不允许访问
- 采用布隆过滤器
布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法,缺点是有一定的误识别率和删除困难。
将所有可能存在的数据哈希到一个足够大的bitmaps,一个一定不存在的数据会被这个bitmaps拦截掉,从而避免了对底层存储系统的压力。
- 进行实时监控
当发现Redis的命中率开始急速降低,需要排查访问对象和访问的数据,和运维人员配合,可以设置黑名单限制服务。
缓存击穿Key对应的数据存在,但是在redis中过期,此时有大量并发请求过来,这些请求发现缓存过期一般会从后端DB加载数据并回设到缓存,这个时候大并发的请求可能瞬间把DB压垮
解决方案- 预先设置热门数据
在redis高峰访问之前,把一些热门数据提前存入到redis里面。加大这些热门数据key的时长
- 实时调整
现场监控哪些热门数据,实时调整key的过期时间
- 使用锁
就是在缓存失效的时候,不是立即去load db。先使用缓存工具的某些带成功操作返回值的操作
缓存雪崩在极短的时间内,查询的大量key过期,造成数据库压力大
分布式锁 问题描述随着业务发展的需要,原单体单机部署的系统被演化成分布式集群系统后,由于分布式系统多线程、多进程并且分布在不同机器上,这将使原单机部署情况下的并发控制锁策略失效,单纯的Java APi并不能提供分布式锁的能力。为了解决这个问题就需要一种跨JVM的互斥机制来控制共享资源的访问,在就是分布式锁需要解决的问题
解决方案使用setnx上锁,del解锁,考虑到一直不释放锁的问题,设置key的过期时间自动释放。
问题答疑解析:Question:为什么Redis这么快并且能处理读11W次每秒?写8W次? Answer: 首先, CPU的速度远大于内存的速度 而内存的速度是远大于磁盘的速度的。Redis是基于内存进行处理的,绝大部分的请求都是纯粹的内存操作。非常迅速。第二,Redis是单线程的,不需要多线程下CPU上下文切换的时间,也不用去考虑各种锁的问题,不存在任何加锁或者释放锁的操作,更不会死锁带来的影响。第三Redis是采用单线程IO复用的具体实现。最后,red Question:那么Redis是怎么实现单线程多路IO复用的呢? Answer:首先介绍IO复用模型 可以参考Linux下的selcect、poll、epoll。(待研究)
存失效的时候,不是立即去load db。先使用缓存工具的某些带成功操作返回值的操作
缓存雪崩在极短的时间内,查询的大量key过期,造成数据库压力大
分布式锁 问题描述随着业务发展的需要,原单体单机部署的系统被演化成分布式集群系统后,由于分布式系统多线程、多进程并且分布在不同机器上,这将使原单机部署情况下的并发控制锁策略失效,单纯的Java APi并不能提供分布式锁的能力。为了解决这个问题就需要一种跨JVM的互斥机制来控制共享资源的访问,在就是分布式锁需要解决的问题
解决方案使用setnx上锁,del解锁,考虑到一直不释放锁的问题,设置key的过期时间自动释放。
问题答疑解析:Question:为什么Redis这么快并且能处理读11W次每秒?写8W次? Answer: 首先, CPU的速度远大于内存的速度 而内存的速度是远大于磁盘的速度的。Redis是基于内存进行处理的,绝大部分的请求都是纯粹的内存操作。非常迅速。第二,Redis是单线程的,不需要多线程下CPU上下文切换的时间,也不用去考虑各种锁的问题,不存在任何加锁或者释放锁的操作,更不会死锁带来的影响。第三Redis是采用单线程IO复用的具体实现。最后,red Question:那么Redis是怎么实现单线程多路IO复用的呢? Answer:首先介绍IO复用模型 可以参考Linux下的selcect、poll、epoll。(待研究)



