Redis 个人狂神说视频学习笔记

文章目录

Redis

Nosql概述

什么是NoSQL

NoSQL特点3V+3高 NoSQL的四大分类 Redis入门

概述Windows安装Linux安装测试性能基础知识 五大数据类型

Redis-KeyString（字符串）List（列表）Set（集合）Hash（哈希）Zset（有序集合） 三种特殊数据类型

geospatial 地理位置HyperloglogBitmaps 事务JedisSpringBoot整合Redis.conf详解Redis持久化

RDB持久化AOF （Append only File）扩展 Redis发布订阅Redis主从复制

概念从机配置哨兵模式 Redis缓存击穿和雪崩

缓存穿透缓存击穿（缓存过期瞬间，大量请求）缓存雪崩
参考视频： 【狂神说Java】Redis最小超详细版教程通俗易懂

Redis Nosql概述 什么是NoSQL

NoSQL = Not only SQL （不仅仅是SQL）

关系型数据库：表格、行、列

泛指非关系型数据库，随着web2.0互联网的诞生！传统的关系型数据库很难对付web2.0时代！尤其是超大规模的高并发的社区！暴露出来很多难以克服的问题。NoSQL在当今大数据环境下发展的十分迅速，Redis是发展最快的，而且是我们当下必须掌握的一个技术！

很多数类型用户的个人信息，社交网络，地理位置、这些数据类型的存储不需要一个固定的格式！不需要多月的操作就可以横向扩展的！Map使用键值对来控制！

NoSQL特点

解耦!

方便扩展（数据之间没有关系，很好扩展）

大数据量高性能（Redis 一秒 写8万次，读取11万次，NoSQL的缓存记录级，是一种细粒度的缓存，性能比较高）

数据类型是多样型的（不需要事先设计数据库！随取随用，如果是数据量十分大的表，很多人就无法设计了）

传统RDBMS和NoSQL

传统的 RDBMS
- 结构化组长
- SQL
- 数据和关系都存在单独的表中 row col
- 数据操作，数据定义语言
- 严格的一致性
- 基础的事务

---

NoSQL
- 不仅仅是数据
- 没有固定的查询语言
- 键值对存储，列存储，文档存储，图形数据库（社交关系）
- 最终一致性
- CAP定理和base （异地多活）--> 初级架构师
- 高性能 高并发 高可拓

3V+3高

大数据时代的3V：主要是描述问题的

海量Volume多样Variety实时Velocity

大数据时代的3高：主要是对程序的要求

高并发高可用高性能 （保证用户体验和性能）

真正在公司中的实践：NoSQL + RDBMS 一起使用才是最强的

NoSQL的四大分类

KV键值对

Redis

文档型数据库（bson‘格式 和json一样）

MongoDB （一般必须要求掌握）

MongoDB 是一个基于分布式文件存储的数据库，C++编写，主要用来处理大量的文档MongoDB是一个介于关系数据库和非关系型数据库中中间的产品！MongoDB是非关系数据库中功能最丰富，最像关系型数据库的！

ConthDB

列存储数据库

Hbase分布式文件系统

图形关系数据库

他不是存图片，存放的是关系，比如：朋友圈社交网络，广告推荐！Neo4j，InfoGrid

Redis入门 概述

Redis 是什么？

Redis ( Remote Dictionary Server ) 远程字典服务

是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。

免费和开源！是当下最热门的NoSQL技术之一！也被人们称谓诶结构化数据库。

Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave（主从）复制。

Redis 能干嘛？

内存存储、持久化，内存中是断电即失、所以说持久化很重要**（rdb、aof）**效率高，可以用于高速缓存发布订阅系统地图信息分析计时器、计数器（浏览量）

特性

多样的数据类型持久化集群事务

学习中需要用到的东西

官网：https://redis.io/

中文官网：http://www.redis.cn/

下载地址：官网下载

注意：Windows在GitHub上下载（停更很久了）
Redis推荐都是在Linux服务器上搭建的

Windows安装

下载安装包：https://github.com/MicrosoftArchive/redis/releases

解压到电脑上的环境目录下即可！Redis非常小，只有5M


开启Redis，双击运行服务（redis-server.exe）即可


端口：6379

使用redis客户端来连接redis

Linux安装

下载安装包 redis.tar.gz

解压Redis安装包

cp redis.tar.gz /opt #复制压缩包到/opt下
tar -zxvf redis.tar.gz #解压

保证c++环境yum install gcc-c++

在解压后的redis目录下执行make,make install

redis默认安装路径 /usr/local/bin

配置文件的目录/opt/redis/redis.conf,使用配置文件启动

redis默认不是后台启动的，需要配置


启动服务 redis-server 配置文件目录/redis.conf

启动客户端 redis-cli -p 6379
如果有密码则在程序中输入 auth “密码”

关闭客户端,在程序中输入 shutdown关闭连接，然后exit退出

测试性能

redis-benchmark 是一个压力测试工具

官方自带的性能测试工具

简单测试：

# 测试：100个连接 100000次请求
redis-benchmark -h localhost -p 6379 -c 100 -n 100000

基础知识

redis默认有16个数据库

默认使用第0个

redis 的命令不区分大小写可以使用 select 数据库号进行切换数据库

127.0.0.1:6379> select 7
OK
127.0.0.1:6379[7]> DBSIZE
(integer) 0

查看数据库所有的key keys *

清空当前数据库flushdb

清空全部数据库FLUSHALL

Redis 是单线程的！

Redis是很快的，官方表示，Redis是基于内存操作，CPU并不是Redis性能瓶颈，Redis的瓶颈是根据机器的内存和网络带宽，既然可以使用单线程来实现，就使用单线程。

Redis是C语言写的，官方提供的数据为 100000 + 的QPS，完全不比同样是使用key-value的Memecache差！

Redis为什么单线程还这么快？

误区1：高性能的服务器一定是多线程的？误区2：多线程（CPU上下文会切换）一定比单线程效率高！
核心：redis是将所有的数据全部存放在内存中的，所以说使用单线程去操作效率就是最高的，多线程（CPU上下文会切换：耗时的操作），对于内存系统来说，如果没有上下文切换，效率就是最高的。多次读写都是在一个CPU上的，在内存情况下，这个就是最佳的方案。

五大数据类型

Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。 Redis 内置了 复制（replication），LUA脚本（Lua scripting）， LRU驱动事件（LRU eviction），事务（transactions） 和不同级别的 磁盘持久化（persistence）， 并通过 Redis哨兵（Sentinel）和自动 分区（Cluster）提供高可用性（high availability）。

Redis-Key

set [key] [value]
get [key]
rename [key] [newKey] # 更换key名
randomkey # 获取随机的key
del [key] 
exist [key] #判断key是否存在
move [key] [数据库号] #移动某一个键值对到指定库中
expire [key] [过期时间]	#设置某个键值对的过期时间
type [key] #查看当前key的类型
ttl [eky] #查看当前key的过期剩余时间

keys * #获取所有key

setex [key] [time] #expire [key] [time]
setnx [key] [value] #if [key] not exist set [key] [value]（分布式锁常用）

mset [k1] [v1] [k2] [v2] ... # 同时设置多个值
mget [k1] [k2] ... # 同时获取多个值
msetnx [k1] [v1] [k2] [v2] ... # 同时多次setnx，原子性，要么都成功要么都失败！

getset [key] [value] #先执行get [key]，最后set [key] [value]

dbsize #获取当前数据库key数量
flushdb #清空当前数据库
flushall #清空所有数据库
select [dbnum] #切换到dbnum号数据库

String（字符串）

append [key] [追加的字符串] # 追加字符串（拼接），返回字符串长度，如果key不存在则相当于set
strlen [key] # 查看字符串长度
incr [key] # 自增1
decr [key] # 自减1
incrby [key] [num] # 自增 num 
decrby [key] [num] # 自减 num
getrange [key] [start] [end] #截取[start,end]字符，若start=0,end=-1则获取整个字符串

String类似的使用场景：value除了是我们的字符串还可以是我们的数字！

计数器统计多单位的数量粉丝数对象缓存存储 List（列表）

在redis里面，我们可以把list当栈、队列、阻塞队列来使用。

LPUSH [list] [v1] [v2] ... #将一个或多个值 按顺序插入列表左部
LRANGE [list] [start] [end] #从左部开始获取[start,end]的值列表
LPOP [list] ([count]) #从左部出栈一个元素，若count存在则出栈count个元素

RPUSH [list] [v1] [v2] ... #将一个或多个值 按顺序插入列表右部
RRANGE [list] [start] [end] #从右部开始获取[start,end]的值列表
RPOP [list] ([count]) #从右部出栈一个元素，若count存在则出栈count个元素

LINDEX [list] [index] #从左部开始 获取 第index个值
LLEN [list]	#获取列表的长度
LREM [list] [count] [value] #从左往右，删除count个value

LTRIM [list] [start] [end] #保留[start,end]的元素，删除其他元素

LSET [list] [index] [value] #将第index个元素的值换成value（要保证长度大于index）

RPOPLPUSH [list1] [list2] #将list1右部元素出栈返回，并将该元素压入list2的左部
...# 其他组合不再写出

LINSERT [list] BEFORE/AFTER [v1] [v2] #将v2插入到首个值为v1的 左/右 边

小结

实际上是一个链表如果key不存在，创建新的链表如果key存在则扩容如果移除了所有值，空链表，也代表不存在！在两边插入或者改动值，效率最高，中间元素效率相对较低 Set（集合）

set中的值是不能重复的

SADD [set] [v1] [v2] ... #插入一个或多个元素
SMEMBERS [set] #查看set中的所有成员
SISMEMBER [set] [v] #判断v是不是set的成员
SREM [set] [v] #移除一个指定元素
SRANDMEMBER [set] ([count]) #从set中随机抽选一个元素，若count存在则抽取count个元素
SPOP [set] (count) #从set中随机抽选 1/count 个元素，移除并返回
SMOVE [set1] [set2] [v] #将set1中的v移除，然后插入到set2中

SDIFF [set1] [set2]		#差集
SINTER [set1] [set2]	#交集
SUNIOn [set1] [set2]	#并集

Hash（哈希）

Map集合，hash-map 存储一个键值对集合

hash:{k1,v1},{k2,v2}

#插入一个或多个键值对
HSET [hash] [k1] [v1] [k2] [v2] ... 
HMEST [hash] [k1] [v1] [k2] [v2] ... 

HGET [hash] [key] #获取hash中以key为键的值
HMGET [hash] [k1] [k2] ... #获取hash中一个或多个指定键的值
HDEL [hash] [key] #删除hash中以key为键的键值对

HGETALL [hash] #获取hash所有的键和值 
#例如：[{1,1},{2,2}] --> 1 1 2 2

HLEN [hash] #获取hash键值对数量

HKEYS [hash] #获取hash所有的键
HVALS [hash] #获取hash所有的值

HINCRBY [hash] [key] [count] #hash中的key键的值自增count
#没有HDECRBY、HINCR、HDECR
HSETNX [hash] [key] [value] #如果hash不存在键key 则可以插入键值对{key,value}

Zset（有序集合）

在set的基础上，增加了一个值，set k1 v1 变成 zset k1 score1 v1 （score1指的是）

ZRANGEBYSCORE [zset] [min] [max] (WITHSCORES) 
# min 和 max 可以为 +inf 或 -inf
# 可以在min左边紧贴(表示不取到min，max右边可以紧贴)表示不取到max
# 如果有WITHSCORES则也将每个元素的SCORE获取
# 从 min 到 max 进行排序并返回
ZREVRANGEBYSCORE ...#逆序返回

ZADD [zset] [s1] [v1] ([s2] [v2] ...) #向zset中添加一个或多个排序值为score的val元素
ZREM [zset] [val] #移除值为val的元素

ZRANGE [zset] [start] [end] #获取score在[start,end]区间的元素，并正序返回
ZREVRANGE [zset] [start] [end] #获取score在[start,end]区间的元素，并逆序返回
ZCOUNT [zset] [min] [max] #获取score在[min,max]上的元素个数

#score可以重复

三种特殊数据类型 geospatial 地理位置

朋友的定位，附件的人，打车举例计算

Redis的Geo在Redis3.2版本推出！可以推算地理位置的信息，两地之间的距离

GETADD

添加地理位置

# GETADD 添加地理位置
# 规则：两极无法直接添加，我们一般会下载城市数据，直接通过java程序一次性导入
# 有效的经度从-180度到180度。
# 有效的纬度从-85.05112878度到85.05112878度。
GETADD [key][经度][纬度][地名]

GETPOS

获取当前定位：一定是一个坐标值！

# GETPOS 获取指定地理位置的坐标值
GETPOS [key][地名1]([地名2] ...)

GETDIST

获取两地距离

单位：

m 米km 千米mi 英里ft 英尺

GETDIST [key] [地位1] [地位2]

GETRADIUS

获取以 指定 [经纬度|地点] 为中心 指定半径距离 的所有地理位置名称

GETRADIUS [key] [经度] [纬度] [距离] [单位] (WITHDIST | WITHCOORD | COUNT 数字)
GETRADIUS [key] [中心地点] [距离] [单位] (WITHDIST | WITHCOORD | COUNT 数字)
#如果包含[WITHDIST]将获取对应点到中心的直线距离
#如果包含[WITHCOORD]将获取对应点的经纬度
#如果包含[COUTNT num]将获取最近的num个元素

GEOHASH

返回一个或多个位置元素的经纬度的长度为固定11的字符串

# 将二维的经纬度转换为一维的字符串，如果两个字符串越接近，那么则距离越近！
GEOHASH 

GEO的底层实现原理其实就是 ZSET！可以直接使用ZSET命令来操作GEO！

Hyperloglog

什么是基数？

A{1,3,4,7,8,7}

B{1,3,5,7,8}

基数（不重复的元素）= 5 ， 可以接受误差！

简介

Redis 2.8.9 版本就更新了Hyperloglog数据结构

Redis Hyperloglog 基数统计的算法

优点：占用的内存是固定的，2^64不同的元素的计数，只需要花费12KB内存！如果从内存角度来比较的话Hyperloglog首选 。

网页的UV（一个人访问一个网站多次，但是还是算作一个人）

传统的方式，set保存用户的id，然后就可以统计set中的元素数量作为标准判断

这个方式如果保存大量的用户id，就会比较麻烦，我们的目的是为了计数，而不是保存用户id

0.81% 的错误率，统计UV任务，可以忽略不计

命令

PFADD [key] [v1] ([v2] ...) #添加元素
PFCOUNT [key] #统计基数数量
PFMERGE [keyResult] [key1] [key2] #合并key1和key2到keyResult中 

如果运行容错，那么一定可以使用Hyperloglog

如果不允许容错就使用set或者自己的数据类型即可

Bitmaps

位存储

统计用户信息。活跃，不活跃。登录，不登录。打卡，未打卡。

两个状态的，都可以使用Bitmaps

Bitmaps 位图，数据结构。都是操作二进制位来进行记录，就只有0和1两个状态。

命令

SETBIT [map] [index] [status] #将map的index位置设置为status的状态 status只能为0或1
GETBIT [map] [index] #获取map的index位置的状态值
BITCOUNT [map] ([start] [end]) #获取map所有(或指定区间)状态为1的数量

事务

Redis事务本质：一组命令的集合。一个事务中的索引命令都会被序列化，在事务执行过程中，会按照顺序执行。

一次性、顺序性、排他性。执行一些命令。

Redis事务没有隔离级别的概念

所有的命令在事务中，并没有直接被执行，只有发起执行命令的时候才会执行

Redis单条命令是保证原子性的，但是事务不保证原子性！

redis的事务：

开启事务（MULTI）命令入队（）执行事务（EXEC）放弃事务（DISCARD）

正常执行事务

> MULTI		#开启事务
OK
> SET k1 v1
QUEUE
> SET k2 v2
QUEUE
> GET k1
QUEUE
> GET k2
QUEUE
> EXEC		#执行事务

编译型异常（代码有问题，命令有错 事务的所有命令都不会被执行

> MULTI		#开启事务
OK
> SET k1 v1
QUEUE
> SET k2 v2
QUEUE
> GETSET k1	#错误命令！
(error) ERR wrong number of arguments for 'GETSET' command
> GET k2
QUEUE
> EXEC		#执行事务
(error) EXECABORT Transaction discarded because of previous errors.

运行时异常，如果事务队列中存在非语法性错误，那么执行命令时，其他正常命令仍会执行，错误命令抛出异常

> MULTI		#开启事务
OK
> SET k1 "v1"
QUEUE
> SET k2 "v2"
QUEUE
> INCR k1	#编译无错，但是运行会出错
QUEUE
> GET k1
QUEUE
> GET k2
QUEUE
> EXEC		#执行事务
1) OK
2) OK
3) (error) ERR value is not an integer or out of range #仅异常命令报错，其他仍然执行了
4) "v1"
5) "v2"

监控

悲观锁：

很悲观，认为什么时候都会出问题，无论做什么都加锁

乐观锁：

很乐观，任务什么时候都不会出问题，所以不会上锁。更新数据的时候去判断一下，在此期间是否有人修改过这个数据获取version更新的时候比较version

Redis监视测试 WATCH UNWATCH (面试常问) 乐观锁

# 正常执行 #################################################
> SET a 100
OK
> SET b 0
OK
> WATCH a		#监视 a 对象
> MUTI
OK
> DECRBY a 20
QUEUE
> INCRBY b 20
QUEUE
> EXEC
1) (integer) 80
2) (integer) 20

# watch在多线程中可以当做redis的乐观锁操作！
# 如果执行之前，另一个线程，修改了监视的对象的值，就会导致事务执行失败 返回 (nil)

# 如果发现事务执行失败 就需要先解锁 UNWATCH

Jedis

我们若使用Java来操作Redis

Jedis 是 Redis 官方推荐的 java 连接 开发工具

导入依赖

    
        
        
            redis.clients
            jedis
            4.1.1
        

        
            com.alibaba
            fastjson
            1.2.78
        
    

编码测试

public static void main(String[] args) {
        // 1 new Jedis 对象
        final Jedis jedis = new Jedis("127.0.0.1", 6379);
        //直接使用Redis的命令
        System.out.println(jedis.ping());
    }
}

SpringBoot整合

SpringBoot操作数据：spring-data jpa jdbc mongodb redis

SpringData 是和 SpringBoot 齐名的项目

说明：在SpringBoot 2.x 之后，原来的 jedis 被替换为了 lettuce

jedis:采用的直连，多线程操作不安全，如果想要避免不安全，需要使用jedis pool连接池。BIO模式

lettuce:采用netty，实例可以在多个线程中进行共享，不存在线程不安全的情况。可以减少线程数据了。NIO模式

源码分析：

@Bean
    @ConditionalOnMissingBean(
        name = {"redisTemplate"}
    )
	//我们可以自定义一个RedisTemplate来替换这个默认的
    @ConditionalOnSingleCandidate(RedisConnectionFactory.class)
    public RedisTemplate redisTemplate(RedisConnectionFactory redisConnectionFactory) {
        //默认的 RedisTemplate 没有过多的设置，redis对象都是需要序列化
        //两个 泛型 都是 Object Object 的类型，我们后续使用需要强制转换 
        RedisTemplate template = new RedisTemplate();
        template.setConnectionFactory(redisConnectionFactory);
        return template;
    }

    @Bean
    @ConditionalOnMissingBean
	//由于String是redis最常用的类型，所以单独提出了一个bean
    @ConditionalOnSingleCandidate(RedisConnectionFactory.class)
    public StringRedisTemplate stringRedisTemplate(RedisConnectionFactory redisConnectionFactory) {
        StringRedisTemplate template = new StringRedisTemplate();
        template.setConnectionFactory(redisConnectionFactory);
        return template;
    }

在源码中，redis实现类未注入，而lecttue实现类是注入的，所以配置的时候要使用lecttue

整合测试

导入依赖

    org.springframework.boot
    spring-boot-starter-data-redis

配置连接

# 配置 Redis
spring.redis.host=127.0.0.1
spring.redis.port=6379

测试

package springdata.redis;

import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.data.redis.connection.RedisConnection;
import org.springframework.data.redis.core.RedisTemplate;

@SpringBootTest
class SpringDataRedisApplicationTests {

    @Autowired
    private RedisTemplate redisTemplate;

    @Test
    void contextLoads() {

        // redisTemplate
        // opsForValue 操作字符串 类似String
        // opsForList 操作List 类似List
        // opsForSet
        // opsForHash
        // opsForGeo
        // opsForZSet
        // opsForHyperLogLog

        //除了基本的操作，常用的方法都可以直接通过RedisTemplate操作，比如事务和CRUD


        //获取RedisTemplate连接对象
        //final RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();

        redisTemplate.opsForValue().set("name","guokun");
        System.out.println(redisTemplate.opsForValue().get("name"));

    }



}

序列化

RedisTemplate类中序列化代码

//声明的序列化对象
@Nullable
private RedisSerializer keySerializer = null;
@Nullable
private RedisSerializer valueSerializer = null;
@Nullable
private RedisSerializer hashKeySerializer = null;
@Nullable
private RedisSerializer hashValueSerializer = null;
private RedisSerializer stringSerializer = RedisSerializer.string();

//默认的序列化方式是JDK序列化，我们可能会使用Json来序列化！
if (defaultSerializer == null) {
    defaultSerializer = new JdkSerializationRedisSerializer(
        classLoader != null ? classLoader : this.getClass().getClassLoader());
}

所有对象都需要序列化！
在企业中，所有的pojo实体类都会序列化（implement Serializable）
自定义序列化：

@Configuration
public class RedisConfig {

    
    @Bean
    public RedisTemplate redisTemplate(RedisConnectionFactory redisConnectionFactory) {
        //为了开发方便 一般直接使用 
        RedisTemplate template = new RedisTemplate<>();
        template.setConnectionFactory(redisConnectionFactory);

        //JSON序列化配置
        // 使用Jackson2JsonRedisSerializer来序列化和反序列化redis的value值
        Jackson2JsonRedisSerializer