org.springframework.boot
spring-boot-starter-data-redis
org.apache.commons
commons-pool2
配置redis信息 (application.properties)
# REDIS (RedisProperties) # Redis数据库索引(默认为0) spring.redis.database=0 # Redis服务器地址 spring.redis.host= # Redis服务器连接端口 spring.redis.port= # Redis服务器连接密码(默认为空) spring.redis.password= # 连接池最大连接数(使用负值表示没有限制) spring.redis.jedis.pool.max-active=8 # 连接池最大阻塞等待时间(使用负值表示没有限制) spring.redis.jedis.pool.max-wait=-1 # 连接池中的最大空闲连接 spring.redis.jedis.pool.max-idle=8 # 连接池中的最小空闲连接 spring.redis.jedis.pool.min-idle=0 # 连接超时时间(毫秒) spring.redis.timeout=5000 # #redis: ## Redis数据库索引(默认为0) #database: 0 ## Redis服务器地址 #host: 127.0.0.1 ## Redis服务器连接端口 #port: 6379 ## Redis服务器连接密码(默认为空) #password: ## 连接池最大连接数(使用负值表示没有限制) #jedis: #pool: #max-active: 8 ## 连接池最大阻塞等待时间(使用负值表示没有限制) #max-idle: 8 ## 连接池中的最大空闲连接 #max-wait: -1 ## 连接池中的最小空闲连接 #min-idle: 0 ## 连接超时时间(毫秒) #timeout: 0配置redis工具类
package com.example.springbootredis.util;
import com.fasterxml.jackson.annotation.JsonAutoDetect;
import com.fasterxml.jackson.annotation.JsonInclude;
import com.fasterxml.jackson.annotation.JsonTypeInfo;
import com.fasterxml.jackson.annotation.PropertyAccessor;
import com.fasterxml.jackson.databind.DeserializationFeature;
import com.fasterxml.jackson.databind.MapperFeature;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.fasterxml.jackson.databind.SerializationFeature;
import com.fasterxml.jackson.databind.jsontype.impl.LaissezFaireSubTypevalidator;
import org.springframework.cache.annotation.CachingConfigurerSupport;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.redis.connection.RedisConnectionFactory;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.serializer.Jackson2JsonRedisSerializer;
import org.springframework.data.redis.serializer.StringRedisSerializer;
@Configuration
public class RedisConfig extends CachingConfigurerSupport {
@Bean
@SuppressWarnings("all")
public RedisTemplate redisTemplate(RedisConnectionFactory factory){
RedisTemplate template = new RedisTemplate<>();
template.setConnectionFactory(factory);
Jackson2JsonRedisSerializer
控制层
package com.example.springbootredis.controller;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
@RestController
@RequestMapping("/redisTest")
public class RedisTestController {
@Autowired
private RedisTemplate redisTemplate;
@GetMapping
public String testRedis(){
//设置值到redis
redisTemplate.opsForValue().set("name","lucy");
//从redis获取值
String name = (String) redisTemplate.opsForValue().get("name");
return name;
}
}
9、Redis的事务操作
Redis的事务定义
Redis事务是一个单独的隔离操作:事务中的所有命令都会序列化、按顺序地执行,事务在执行的过程中,不会被其他客户端发送来的命令请求打断。
Redis事务的主要作用就是串联多个命令防止别的命令插队
Multi、Exec、discard从输入Multi命令开始,输入的命令都会依次进入命令队列中,但不会执行,知道输入Exec后,Redis会将之前的命令队列中的命令依次执行
组队的过程中可以通过discard来放弃组队
案例事务的错误处理组队成功提交成功
组队阶段报错,提交失败 : 组队中某个命令出现错误,执行时整个的所有队列都会被取消
组队成功,提交失败情况 :如果执行阶段某个命令报出了错误,则只有报错的命令不会被执行,而其他的命令都会被执行
每次去拿数据的时候都认为别人会修改,所以每次在拿数据的时候都会上锁,这样别人想拿这个数据就会block直到它拿到锁,传统的关系型数据库里面就用到了很多这种锁机制,比如行锁,表锁,读锁,写锁,都是在操作之前先上锁
乐观锁每次去拿数据的时候都认为别人不会修改,所以不会上锁,但是在更新的时候会判断一下在此期间别人有没有去更新整个数据,可以使用版本号等机制。乐观锁适用于多读的应用类型,这样可以提高吞吐量。Redis就是利用这种check-and-set机制实现事务的
WATCH key [key …]在执行multi之前,先执行watch key1 【key2】, 可以监听一个(或多个)key,如果在事务执行之前这个(或这些)key被其他命令所改动,那么事务将被打断
unwatch取消watch命令对所有key的监视
如果在执行watch命令之后,EXEC命令或DISCARD命令先被执行了的话,那么就不需要再执行UNWATCH了。
Redis事务三特性-
单独的隔离操作
事务中的所有命令都会序列化、按顺序地执行。事务再执行的过程中,不会被其他客户端发送来的命令请求打断。
-
没有隔离级别的概念
队列中的命令没有提交之前都不会被实际被执行,因为事务提交之前任何指令都不会实际执行
-
不保证原子性
事务中如果有一条命令执行失败,其后的命令仍然会被执行,没有回滚
package com.example.springbootredis.controller;
import org.springframework.beans.factory.annotation.Autowired;
import redis.clients.jedis.Jedis;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import java.io.IOException;
@RestController
@RequestMapping("/redisTest")
public class RedisTestController {
@Autowired
private RedisTemplate redisTemplate;
@GetMapping
public String testRedis(){
//设置值到redis
redisTemplate.opsForValue().set("name","lucy");
//从redis获取值
String name = (String) redisTemplate.opsForValue().get("name");
return name;
}
//秒杀过程
public static boolean doSecKill(String uid,String prodid) throws IOException{
//1 uid 和prodid非空判断
if (uid == null || prodid == null){
return false;
}
//2 连接redis 各人隐私不给看
Jedis jedis = new Jedis("*****", &&&&&);
jedis.auth("****");
//3 拼接key
//3.1 库存key
String kcKey = "sk:"+prodid+":qt";
//3.2秒杀成功用户key
String userKey = "sk:" + prodid+":user";
//4 获取库存,如果库存null,秒杀还没开始
String kc = jedis.get(kcKey);
if(kc == null){
System.out.println("秒杀还没有开始,请求失败");
jedis.close();
return false;
}
//5 判断用户是否重复秒杀操作
if (jedis.sismember(userKey,uid)){
System.out.println("已经秒杀成功,不能重复秒杀");
jedis.close();
return false;
}
//6 判断如果商品数量,库存数量小于1,秒杀结束
if (Integer.parseInt(kc)<=0){
System.out.println("秒杀已经结束了");
jedis.close();
return false;
}
//7 秒杀过程
//7.1 库存-1
jedis.decr(kcKey);
//7.2 把秒杀成功用户添加清单里面
jedis.sadd(userKey,uid);
System.out.println("秒杀成功");
jedis.close();
return true;
}
}
测试
@Test
public void test1() throws IOException {
Random random = new Random();
int j;
for (int e = 0; e < 10; e++) {
String uid = "";
for (int i = 0; i <10 ; i++) {
j = random.nextInt(10);
uid += j;
}
RedisTestController.doSecKill(uid,"0101");
}
}
秒杀并发解决
安装ab
云服务器上安装
yum install httpd-tools ab --help 请求帮助可以看到很多使用方法本机安装去官网下然后配置环境变量
https://www.apachehaus.com/cgi-bin/download.plx
使用abab -c concurrency 并发性 Number of multiple requests to make at a time 一次发出的并发性多个请求的数量 ab -n requests 请求 Number of requests to perform执行的请求数 -p postfile 发布文件 File containing data to POST. Remember also to set -T包含要POST的数据的文件。还请记住设置-T -T content-type Content-type header to use for POST/PUT data, eg. 'application/x-www-form-urlencoded'Default is 'text/plain'用于POST/PUT数据的内容类型头,例如。“application/ x-www-form-urlencoded”默认是“文本/普通” ab -n 1000 -c 100 -p /home/test/postfile -T application/x-www-form-urlencoded http://172.16.17.225:8080/redisTest/doSecKill
ab -n 1000 -c 100 -p /home/test/postfile -T application/x-www-form-urlencoded localhost:8080/redisTest/doSecKill
连接超时问题处理再增加ab测试的并发量和请求总数后,因为乐观锁的原因,会出现连接超时问题,先点的没秒到,后点的抢到了。
处理方法
1、创建JedisPoolUtils 工具类
package com.example.springbootredis.util;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;
public class JedisPoolUtils {
private static volatile JedisPool jedisPool = null;
private JedisPoolUtils(){
}
public static JedisPool getJedisPoolInstance() {
if(null == jedisPool) {
synchronized (JedisPoolUtils.class) {
if(null == jedisPool) {
JedisPoolConfig poolConfig = new JedisPoolConfig();
poolConfig.setMaxIdle(32);
poolConfig.setMaxWaitMillis(100*1000);
poolConfig.setTestOnBorrow(true);
jedisPool = new JedisPool(poolConfig,"8.130.16.99",7777,60000,"123qwe");
}
}
}
return jedisPool;
}
public static void release(JedisPool jedisPool, Jedis jedis) {
if(null != jedis) {
jedisPool.returnResource(jedis);
}
}
}
2、使用连接池得到jedis对象
//通过连接池得到jedis对象
JedisPool jedisPoolInstance = JedisPoolUtils.getJedisPoolInstance();
Jedis jedis = jedisPoolInstance.getResource();
超卖问题
查看库存为-190
解决方法
1、监视库存
jedis.watch(kcKey);
2、使用事务
//使用事务
Transaction multi = jedis.multi();
//组队操作
multi.decr(kcKey);
multi.sadd(userKey,uid);
//执行
List results = multi.exec();
if (results == null || results.size() ==0){
System.out.println("秒杀失败了....");
jedis.close();
return false;
}
加事务后-乐观锁(解决超卖问题),但出现遗留库存和连接超时
解决库存遗留问题 LUA脚本Lua是一个小巧的脚本语言,可以被C++代码调用,也可以反过来调用C++函数,Lua并没有提供强大的库,一个完整的Lua解释器不过200k,所以Lua不适合作为独立开发应用程序的语言,而是一个嵌入式脚本语言。
通过LUA脚本解决争抢问题,实际上是redis利用其单线程的特性,用任务队列的方式解决多任务并发的问题
LUA脚本代码
类中doSockill函数
在指定的时间间隔内将内存中的数据集快照写入磁盘, 也就是行话讲的Snapshot快照,它恢复时是将快照文件直接读到内存里
12.2.3.备份是如何执行的Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到 一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。 整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能 如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。
12.2.3.备份是如何执行的Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到 一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。 整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能 如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失
12.2.4.ForkFork的作用是复制一个与当前进程一样的进程。新进程的所有数据(变量、环境变量、程序计数器等) 数值都和原进程一致,但是是一个全新的进程,并作为原进程的子进程
在Linux程序中,fork()会产生一个和父进程完全相同的子进程,但子进程在此后多会exec系统调用,出于效率考虑,Linux中引入了“写时复制技术”
一般情况父进程和子进程会共用同一段物理内存,只有进程空间的各段的内容要发生变化时,才会将父进程的内容复制一份给子进程。
在redis.conf中配置文件名称,默认为dump.rdb
rdb文件的保存路径,也可以修改。默认为Redis启动时命令行所在的目录下
dir “/myredis/”
save :save时只管保存,其它不管,全部阻塞。手动保存。不建议。
bgsave:Redis会在后台异步进行快照操作, 快照同时还可以响应客户端请求。
可以通过lastsave 命令获取最后一次成功执行快照的时间
执行flushall命令,也会产生dump.rdb文件,但里面是空的,无意义
.###SNAPSHOTTING快照### Save格式:save 秒钟 写操作次数
RDB是整个内存的压缩过的Snapshot,RDB的数据结构,可以配置复合的快照触发条件,
默认是1分钟内改了1万次,或5分钟内改了10次,或15分钟内改了1次。
禁用
不设置save指令,或者给save传入空字符串
当Redis无法写入磁盘的话,直接关掉Redis的写操作。推荐yes.
rdbcompression 压缩文件对于存储到磁盘中的快照,可以设置是否进行压缩存储。如果是的话,redis会采用LZF算法进行压缩。
如果你不想消耗CPU来进行压缩的话,可以设置为关闭此功能。推荐yes.
在存储快照后,还可以让redis使用CRC64算法来进行数据校验,
但是这样做会增加大约10%的性能消耗,如果希望获取到最大的性能提升,可以关闭此功能
推荐yes.
先通过config get dir 查询rdb文件的目录
将*.rdb的文件拷贝到别的地方
rdb的恢复
关闭Redis
先把备份的文件拷贝到工作目录下 cp dump2.rdb dump.rdb
启动Redis, 备份数据会直接加载
适合大规模的数据恢复
对数据完整性和一致性要求不高更适合使用
节省磁盘空间
恢复速度快
Fork的时候,内存中的数据被克隆了一份,大致2倍的膨胀性需要考虑
虽然Redis在fork时使用了写时拷贝技术,但是如果数据庞大时还是比较消耗性能。
在备份周期在一定间隔时间做一次备份,所以如果Redis意外down掉的话,就会丢失最后一次快照后的所有修改。
动态停止RDB:redis-cli config set save “”#save后给空值,表示禁用保存策略
小总结


