redis的特性:
1. 单线程 2. 纯内存访问 3. 支持数据持久化 4. 非阻塞的I/O
redis的应用场景:
一般使用redis做缓存的较多
可以做队列 网站访问统计 分布式session 应用排行榜 以及一些社交关系图
redis的不同版本介绍:
2.8版本``` 主从断线重连之后,采取的是部分复制(PSYNC) 只复制断线 之后的数据 redis sentinel stable (哨兵) 3.0版本 redis cluster 3.2版本 GEO 4.0版本 提供模块系统方便第三方拓展 非阻塞del和flushall/flushdb功能 RDB和AOF混合持久化模式 redis cluter兼容NAT和Docker
redis的结构及其内部编码:
基本数据类型: 字符串(string) : 包括整型(int) embstr编码的简单动态字符串 简单动态字符串 列表(list) : 包括链表(linkedlist)和快速列表(quicklist) 哈希(hash): 包括哈希表(hashtable)和压缩表(ziplist) 集合(set): 包括整型集合(intset)和哈希表(hashtable) 有序集合(zset): 包括压缩表(ziplist)和跳跃表(skiplist) 其他数据类型: bitMap hyperloglog GEO
持久化:
持久化: RDB: 1. 内存快照 2. 恢复速度快,持久化性能高,但是存在数据丢失风险 AOF: 1. 日志文件追加记录 2. 实时持久化,数据安全性高,持久化效率低
复制:
原理: 同步RDB文件, 复制到缓冲区
类型: redis版本在2.8版本之后出现增量数据复制(Psync)和全量数据复制(Sync)
拓扑: 有一下两种方式
星型:主-从(单节点)
主-从(多节点)
树型:主-从(主)-从
高可用:
高可用主要: redis sentinel (哨兵模式) redis cluster(集群自带高可用) keepalived 基本原理是：Keepalive通过脚本检测master的存活，然后通过漂移VIP（Virtual IP）完成主从切换。
分布式:
方案:
集群: redis cluter
中间件分片: twemProxy 和 codisProxy
客户端分片: 业务程序
原理:
客户端分片 : 一次性哈希算法
codis : 虚拟槽分区(1024个槽)
集群内部数据节点独立运行,无需互相通信
redis cluter (集群): Gossip协议-- 集群数据节点内部相互通信
Raft算法 -- 集群内选主
虚拟槽分区(16384个槽)
阻塞
持久化阻塞 :
fork子进程 (RDB持久化 和AOF文件重写)
命令阻塞 :
1. keys *
2. smembers
3. lrange
4. hgetall
内存:
A. 内存消耗:
1. 对象内存
1.存储所有数据
2. 缓冲内存
1.客户端缓冲 : 通过参数client-output-buffer-limit控制
2.复制积压缓冲区 : 根据repl-backlog-size参数控制
3.AOF缓冲区 : 用于在Redis重写AOF文件期间保存的最近写入的命令
3. 内存碎片 : 可采用数据对齐和安全重启等方式规避内存碎片的问题
B.内存回收策略
1. 惰性删除
2. 定时删除
C.内存优化
1. 缩减键值对象的长度
2. 共享对象池
3. 字符串优化
4. 编码优化(使用ziplist编码能节约内存,但是会提高耗时- 空间换时间)
5. 控制键的数量(使用hash结构重构字符串结构)
客户端 :
jedis redis-py redigo
辅助功能:
慢查询 : (slowquery) 管道 : (pipeline)
存在问题:
1. 缓冲无底洞 2. 缓冲穿透 3. 缓冲击穿 4. 缓冲雪崩 5. 热点key倾斜 6. 热点key重建
优化:
vm.overcommit_memory =1 vm.swapiness =1 关闭THP特性 调大ulimit 调大TCP Backlog
