最近,在工作中遇到了一个关于Redis中list集合一次性pop所有数据的问题,相信很多小伙伴也会碰到拿到同样的问题,所以就拿出来聊一聊了。业务场景及问题的提出
业务的情景是这样的,服务A 是面向客户的服务,主要是用了Redis作为存储的,而服务B是面向业务人员使用的,服务A 的数据服务B 是需要拿到的,所以我会把每次服务A 的请求参数放到一个Redis的队列中,而服务B 会起一个线程来定时的获取我队列的数据,其实这里涉及到了一个简易RPC框架的设计,下篇文章会来聊一聊我们这个简易RPC 框架的设计变迁,大致的架构如下:
所以现在问题就来了,内部的定时服务如果一次pop一个那性能可就太差了,所以现在我们就需要支持一个可以自定义pop出队列元素个数的方法,而redis本身是没有这种方法的,所以得我们自己来设计,一起来聊一聊吧。
解决方案 1.多次请求这应该是正常人都可以想到的办法了,任何问题都可以使用一个for循环来解决,如果不行,那就再来一个for循环,我们来看下这个简单的代码:
public ListmultiRPopForCycle(String key, int size) { // 获取当前队列里的值 int curSize = Math.toIntExact(redisTemplate.opsForList().size(key)); if (curSize == 0) { return Collections.emptyList(); } // 最终可以取出的数量 int finalSize = Math.toIntExact(Math.min(curSize, size)); List resultList = new ArrayList<>(); for (int i = 0; i < finalSize; i++) { String popElement = redisTemplate.opsForList().rightPop(key); resultList.add(popElement); } return resultList; }
这个代码写出来很简单,但是它好危险啊,如果我们需要pop出的数据很多怎么办,每次都需要进行通信,这来来回回就会产生很多时耗,上生产我们是没办法接受的,所以必须改进。在此我向大家推荐一个架构学习交流圈。交流学习指导伪鑫:1253431195(里面有大量的面试题及答案)里面会分享一些资深架构师录制的视频录像:有Spring,MyBatis,Netty源码分析,高并发、高性能、分布式、微服务架构的原理,JVM性能优化、分布式架构等这些成为架构师必备的知识体系。还能领取免费的学习资源,目前受益良多
因为pop出多个元素,我们不可避免的需要进行for循环进行pop然后收集返回,也就是说我们需要执行多次redis的pop命令,为了减少通信时耗,我们可以一次性将所有的命令都发过去,一起执行,而实现这种方案我们有以下两种方法:
利用redis的事务来实现:拿到连接后,开启事务,然后进行执行pop命令,代码如下:
public List3.利用PipelinemultiRPopTx(String key, int size) { // 获取当前队列里的值 int curSize = Math.toIntExact(redisTemplate.opsForList().size(key)); if (curSize == 0) { return Collections.emptyList(); } // 最终可以取出的数量 int finalSize = Math.toIntExact(Math.min(curSize, size)); // 事务支持 return redisTemplate.execute(new SessionCallback >() { @Override public List
当然了,还可以使用我们之前讲的pipeline来实现:
public ListmultiRPopPipeline(String key, int size) { // 获取当前队列里的值 int curSize = Math.toIntExact(redisTemplate.opsForList().size(key)); if (curSize == 0) { return Collections.emptyList(); } // 判断操作次数 return redisTemplate.executePipelined(new SessionCallback () { @Override public String execute(RedisOperations redisOperations) throws DataAccessException { final int finalSize = Math.toIntExact(Math.min(curSize, size)); for (int i = 0; i < finalSize; i++) { redisOperations.opsForList().rightPop(key); } return null; } }).stream().map(obj -> (String) obj).collect(Collectors.toList()); }
其实在我们这种场景中是没必要使用事务的,使用事务还会带来一定的性能损耗,所以最终选择的是方案三,即基于管道来实现pop多个元素。



