限流知识梳理

首发链接

限流其实是指当系统资源不够,不足以应对大量请求,为了保证有限的资源能够正常服务,对系统按照预设的规则进行流量限制或功能限制的一种方法。 为什么需要限流?

在流量过大的情况下为了保证服务可用
== 比如我的服务,因为资源问题,qps在300左右,如果超过这个服务器承受不住可能会挂掉 == 限流算法 漏桶算法

请求进入漏桶里,人为设置请求速率,超过这个速率,请求被拒绝漏桶算法的核心:

存下请求匀速处理多于丢弃 这是一种强行限制请求速率的方式,缺点非常明显,主要有两点：

无法面对突发的大流量无法有效利用网络资源 令牌桶算法

令牌桶算法是网络流量整形（Traffic Shaping）和限流（Rate Limiting）中最常使用的一种算法,它可用于控制发送到网络上数据的数量并允许突发数据的发送。令牌桶的过程

系统以恒定的速率产生令牌,然后将令牌放入令牌桶中令牌桶有一个容量,当令牌桶满了的时候,再向其中放入的令牌就会被丢弃每次一个请求过来,需要从令牌桶中获取一个令牌,假设有令牌,那么提供服务；假设没有令牌,那么拒绝服务。

== 令牌桶算法可以防止一定程度的突发流量? ==

假设速率是1000QPS,第1秒只有800个请求,那意味着第2秒可以容许1200个请求,这就是一定程度突发流量的意思,反之我们看漏桶算法,第一秒只有800个请求,那么全部放过,第二秒这1200个请求将会被打回200个

** 使用令牌桶算法特别注意设置桶中令牌的上限即可 **

private static final RateLimiter limiter = RateLimiter.create(200);
final boolean b = limiter.tryAcquire();
if (!b) {
  logger.info("RateLimiterInterceptor preHandle busy");
  response.setContentType("application/plain;charset=utf-8");
  response.sendError(503, "the system is busy");
  return false;
}