栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

guava缓存批量获取的一个坑

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

guava缓存批量获取的一个坑

摘要

Guava Cache是Google开源的Java工具集库Guava里的一款缓存工具,一直觉得使用起来比较简单,没想到这次居然还踩了一个坑

背景

功能需求抽象出来很简单,就是将数据库的查询sthMapper.findById(Long id)的结果缓存起来。但同时还有批量请求,为了提高效率,肯定要批量查询数据库,sthMapper.findByIds(Collection ids)

对于的guava cache 处理类

  // 定义guava缓存
  public SthCache() {
 sthCache = CacheBuilder.newBuilder()
  .maximumSize(SIZE)
  .refreshAfterWrite(3, TimeUnit.SECONDS)
  .build(new CacheLoader>() {
      @Override
      public List load(final Long id) {
   return doLoad(Arrays.asList(id)).get(id);
      }

      @Override
      public Map> loadAll(
final Iterable ids)
throws Exception {
   return doLoad(Lists.newArrayList(ids));
      }
  });
    }
// 实际从数据库中加载数据
private Map> doLoad(final List ids) {
    return sthMapper.findByIds(ids);
} 
// 批量获取数据
 public Map> getSthById(final List ids) {
 return sthCache.getAll(ids);
    
    }

没毛病,getAll(Iterable)方法用来执行批量查询。默认情况下,对每个不在缓存中的键,getAll方法会单独调用CacheLoader.load来加载缓存项。如果批量的加载比多个单独加载更高效,你可以重载CacheLoader.loadAll来利用这一点。getAll(Iterable)的性能也会相应提升。这边定义了loadAll效率高了。

问题

在debug的时候发现确实走的loadAll,批量查询数据库。但是上线后,线上监控数据却发现这个接口耗时很长,通过分析,发现有很多sthMappper.findByIds()的单个查询。也就是说,并没有调用loadAll,走到批量查询数据库中。

分析解决
  1. 首先看了下guava的代码实现
ImmutableMap getAll(Iterable keys) throws ExecutionException {
   int hits = 0;
   int misses = 0;
   // 省略一大坨
   try {
     if (!keysToLoad.isEmpty()) {
try {
// 调用loadAll
  Map newEntries = loadAll(keysToLoad, defaultLoader);

批量查询时,对于没有命中的,确实调用的loadAll来加载数据的。

那问题就不是这边了。在load()方法打了个断点,原因就找到了。

原来是refesh的时候,加载的。refreshAfterWrite 刷新缓存数据时调用的还是load方法。

搜索了下,https://github.com/google/guava/issues/1975 github上这个issue还在。汗!!!

最后我这边解决是用Spring Cache统一了缓存管理。

总结

对于开源库的使用不可只知其然,不知其所以然。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/239597.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号