栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

使用redis - zset做排行榜

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

使用redis - zset做排行榜

使用redis - zset实现排行榜
  • 引出
  • 实现过程
    • 一、接收uri时统计系统和用户
      • 1. 主要方法
      • 2. 备注
      • 3. 代码说明
    • 二、 从reids上获取排行榜信息
      • 1.主要方法
      • 2.备注
      • 3.代码说明
    • 四、从redis上获取监控图表数据
      • 1.主要方法
      • 2.备注
      • 3.代码说明
    • 五、前端使用排行数据,显示成图表
      • 2.代码说明

引出

最近做一个请求uri排行榜的功能,效果如图,统计发出uri最多的十个应用及每个应用下发出uri最多的3个用户,由于统计了所有接收到的uri,数据量众多,且sql难写,经测试之前写的sql查询时间高达十分钟,显然这不符合需求,最后确定通过 redis zset 结构做该排行榜。

实现过程 一、接收uri时统计系统和用户 1. 主要方法
public void log(String appName, String account, String url, String ip, int maskStatus, String detail, int length, long exeTime) {

    try {
        //记录app排行榜和account排行榜
        String redisKey = RedisKeyConstant.RANKING_KEY + appName;
        RScoredSortedSet accountRanking = RedissonConfig.redissonClient.getScoredSortedSet(redisKey);
        //key = 应用名,member = 账号名称,请求次数+1
        accountRanking.addScore(account,1);
        RScoredSortedSet appRanking = RedissonConfig.redissonClient.getScoredSortedSet(RedisKeyConstant.APP_RANKING);
        appRanking.addScore(appName, 1);

    } catch (Exception e){
        log.error("记录审计信息异常", e);
    }
}
 
2. 备注 

RedisKeyConstant :redisKey常量枚举类,用于存储redisKey
RScoredSortedSet:来自于org.redisson.api; 的 有序集合
redissonClient:没错,就是那个贼难用的redis工具
RScoredSortedSet.addScore():向元素添加 score1值,若已有该元素,该方法会在原有基础上增加,相当于redis ZINCRBY

3. 代码说明

此方法用于每次接收到uri记录信息,此处获取到了appName,account后,生成两个对应的redisKey,分别表示总的应用排行榜 和 该应用下的用户排行榜,redisKey效果如下:

禅道应用下的用户排行榜:

应用排行榜:

二、 从reids上获取排行榜信息 1.主要方法
@Scheduled(cron="*/20 * * * * ? ")
public void reportStatisticsRedisInfo() {
	{//当日访问量top10
	    List topVoList = new ArrayList<>();
	
	    //从app排行榜中获取 MonitorVO.TOP_APP_NUM 个最大值,将key和value存到topVoList中
	    RScoredSortedSet appRankingRedisSet = redissonClient.getScoredSortedSet(RedisKeyConstant.APP_RANKING);
	    Collection> appRanking = appRankingRedisSet.entryRangeReversed(0, MonitorVO.TOP_APP_NUM);
	    topVoList = appRanking.stream().map(ScoredEntry -> new MonitorAgentNumberTopVO(ScoredEntry.getScore().intValue(), (String) ScoredEntry.getValue())).collect(Collectors.toList());
	
	    //从各个account排行榜中获取 MonitorVO.TOP_ACCOUNT_NUM 个最大值,存到topVoList中
	    for (MonitorAgentNumberTopVO topVo : topVoList) {
	        RScoredSortedSet accountRankingRedisSet = redissonClient.getScoredSortedSet(RedisKeyConstant.RANKING_KEY + topVo.getName());
	        //每个app下请求最多的account
	        Collection> accountRanking = accountRankingRedisSet.entryRangeReversed(0, MonitorVO.TOP_ACCOUNT_NUM);
	        List topAccount = accountRanking
	                .stream()
	                .map(
	                        ScoredEntry ->(String)ScoredEntry.getValue()
	                )
	                .collect(Collectors.toList());
	        topVo.setAccountTop(topAccount);
	    }
	
	    map.put(MonitorVO.AGENT_NUMBER_TOP, JSONObject.toJSONString(topVoList));
	}
}
 
2.备注 

@Scheduled:spring定时器,由于此方法因为还涉及到监控页面的其他属性图表的监控,由于查询速度较慢,采取定时器,每隔一段时间存一份最新的监控数据到redis上,监控页面再不断的从redis上获取监控数据这样的模式
RScoredSortedSet.entryRangeReversed(0, MonitorVO.TOP_APP_NUM):从zset上获取得分排名第0 至 第n个数据
stream().map():java stream流

3.代码说明
  • 可以看到此方法中存在一个多余的{},这是因为此方法较为长,这里通过代码块将不同逻辑分割,没有拆分为不同的方法。
  • 此处代码逻辑主要是,从redis上首先获取应用排行Key,从中读取了前十名应用存到java对象中之后再通过排行前缀拼接各应用的用户排行榜,进而获得一个这样的应用排行对象(当然,是将十个这样的对象组成的list 存到redis上):
@Data
@NoArgsConstructor
public class MonitorAgentNumberTopVO {
    
    private Integer value;
    
    private String name;
    
    private List accountTop;

    public MonitorAgentNumberTopVO(Integer value, String name) {
        this.value = value;
        this.name = name;
    }
}
四、从redis上获取监控图表数据 1.主要方法
public Result getMonitorData() {
    RMap map = redissonClient.getMap(RedisKeyConstant.REPORT_STATISTICS);
    RMap agentSystemMap = redissonClient.getMap(RedisKeyConstant.AGENT_SYSTEM_RESOURCE);
    MonitorVO vo = new MonitorVO(map,agentSystemMap);

    return Result.success("获取监控数据成功", vo);
}
public MonitorVO(Map map,Map agentSystemMap) {
    //应用侧系统访问量top10
    setAppUserAccessTopList(map.get(MonitorVO.AGENT_NUMBER_TOP));
}


public void setAppUserAccessTopList(String agentNumberTopStr) {
    if (StringUtils.isEmpty(agentNumberTopStr)) {
        appUserAccessTopList = new ArrayList<>();
        return;
    }
    JSONArray agentNumberTopJson = JSONObject.parseArray(agentNumberTopStr);
    List agentNumberTopList = JSONObject.parseArray(agentNumberTopJson.toJSONString(), MonitorAgentNumberTopVO.class);
    appUserAccessTopList = agentNumberTopList;
}
2.备注

public MonitorVO():这是一个构造方法,当然这个对象里面还存在监控页面的其他图表数据
RedisKeyConstant.AGENT_SYSTEM_RESOURCE:这是一个redisKey,当然它和put时是同一个key
MonitorVO.AGENT_NUMBER_TOP:这是一个常量值,它表示监控信息redisKey中的监控信息mapKey中的排行榜图表,当然它和put时是同一个key

3.代码说明

这部分没什么好说的,很简单,其实就是把之前存到redis上的数据,通过redissonClient.getMap() 获取到java方法中再转化成list,再返回给前端

五、前端使用排行数据,显示成图表







2.代码说明
  • 这里没什么好说的,主要运用了一个echarts组件,代码中最主要的 initOption() 可以通过他的官网组装
  • 其中的watch 监听props也略显年轻
  • 值得注意的是,echarts的初始化最早得在mounted()中执行,created()中不能执行初始化

  1. zset 得分,zset将根据该值排序 ↩︎

转载请注明:文章转载自 www.mshxw.com
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号