栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Redis中pop出队列多个元素思考

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Redis中pop出队列多个元素思考

最近,在工作中遇到了一个关于Redis中list集合一次性pop所有数据的问题,相信很多小伙伴也会碰到拿到同样的问题,所以就拿出来聊一聊了。业务场景及问题的提出

业务的情景是这样的,服务A 是面向客户的服务,主要是用了Redis作为存储的,而服务B是面向业务人员使用的,服务A 的数据服务B 是需要拿到的,所以我会把每次服务A 的请求参数放到一个Redis的队列中,而服务B 会起一个线程来定时的获取我队列的数据,其实这里涉及到了一个简易RPC框架的设计,下篇文章会来聊一聊我们这个简易RPC 框架的设计变迁,大致的架构如下:

所以现在问题就来了,内部的定时服务如果一次pop一个那性能可就太差了,所以现在我们就需要支持一个可以自定义pop出队列元素个数的方法,而redis本身是没有这种方法的,所以得我们自己来设计,一起来聊一聊吧。

解决方案 1.多次请求

这应该是正常人都可以想到的办法了,任何问题都可以使用一个for循环来解决,如果不行,那就再来一个for循环,我们来看下这个简单的代码:

      public List multiRPopForCycle(String key, int size)
 {        
// 获取当前队列里的值       
 int curSize = Math.toIntExact(redisTemplate.opsForList().size(key));        
if (curSize == 0) 
{            
return Collections.emptyList();        
}        
// 最终可以取出的数量        
int finalSize = Math.toIntExact(Math.min(curSize, size));        
List resultList = new ArrayList<>();        
for (int i = 0; i < finalSize; i++) 
{            
String popElement = redisTemplate.opsForList().rightPop(key);            resultList.add(popElement);        
}        
return resultList;    
}

这个代码写出来很简单,但是它好危险啊,如果我们需要pop出的数据很多怎么办,每次都需要进行通信,这来来回回就会产生很多时耗,上生产我们是没办法接受的,所以必须改进。在此我向大家推荐一个架构学习交流圈。交流学习指导伪鑫:1253431195(里面有大量的面试题及答案)里面会分享一些资深架构师录制的视频录像:有Spring,MyBatis,Netty源码分析,高并发、高性能、分布式、微服务架构的原理,JVM性能优化、分布式架构等这些成为架构师必备的知识体系。还能领取免费的学习资源,目前受益良多
因为pop出多个元素,我们不可避免的需要进行for循环进行pop然后收集返回,也就是说我们需要执行多次redis的pop命令,为了减少通信时耗,我们可以一次性将所有的命令都发过去,一起执行,而实现这种方案我们有以下两种方法:

2.利用Redis事务

利用redis的事务来实现:拿到连接后,开启事务,然后进行执行pop命令,代码如下:

             
public List multiRPopTx(String key, int size) 
{        
// 获取当前队列里的值        
int curSize = Math.toIntExact(redisTemplate.opsForList().size(key));        
if (curSize == 0) {            
return Collections.emptyList();        
}        
// 最终可以取出的数量        
int finalSize = Math.toIntExact(Math.min(curSize, size));        
// 事务支持        
return redisTemplate.execute(new SessionCallback>() 
{            
@Override            
public List execute(RedisOperations redisOperations) throws DataAccessException 
{                
redisOperations.multi();                
for (int i = 0; i < finalSize; i++) 
{                    
redisOperations.opsForList().rightPop(key);                
}                
return redisOperations.exec();            
}        
}).stream().map(obj -> (String) obj).collect(Collectors.toList());    
}
 
3.利用Pipeline 

当然了,还可以使用我们之前讲的pipeline来实现:

         
public List multiRPopPipeline(String key, int size) 
{        
// 获取当前队列里的值        
int curSize = Math.toIntExact(redisTemplate.opsForList().size(key));        
if (curSize == 0) 
{            
return Collections.emptyList();        
}        
// 判断操作次数        
return redisTemplate.executePipelined(new SessionCallback() {            @Override            
public String execute(RedisOperations redisOperations) throws DataAccessException {                
final int finalSize = Math.toIntExact(Math.min(curSize, size));                
for (int i = 0; i < finalSize; i++) 
{                   
 redisOperations.opsForList().rightPop(key);                
}                
return null;            
}        
}).stream().map(obj -> (String) obj).collect(Collectors.toList());    
}

其实在我们这种场景中是没必要使用事务的,使用事务还会带来一定的性能损耗,所以最终选择的是方案三,即基于管道来实现pop多个元素。

转载请注明:文章转载自 www.mshxw.com
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号