网站限流处理

1.常见两种方式 漏桶算法和令牌桶算法

漏桶算法:1.有一个固定容量的漏桶,已固定的速率流出水滴。

      2.可以任意速率流入水滴到漏桶

      3.当漏桶满了,水溢出(相当于丢弃)

令牌桶算法:

      1.以固定的速率向桶里放令牌

      2.当桶内的令牌数量达到最大值后,后续放入的令牌被丢弃

      3.当需要发送N个单位大小的数据时,就从桶内去N个令牌

      4.当桶内的令牌数量小于设定的大小时,不能删除令牌,也就是不能发送数据,这是数据可能被丢弃,也可能被缓冲区缓存下来。

2.其它方式

统计计数,主要思想是记录指定时间内的访问量,然后定时将计数清零。

   统计计数方式可以使用jedis的incr和expire的api实现,也可以使用并发Map来实现。

nginx中配置限流

3.开源实现

guava RateLimiter ,基于令牌桶算法实现  具体用法参考 http://ifeve.com/guava-ratelimiter/

时间: 2024-10-13 21:15:46

网站限流处理的相关文章

大型网站限流算法的实现和改造

最近写了一个限流的插件,所以避免不了的接触到了一些限流算法.本篇文章就来分析一下这几种常见的限流算法 分析之前 依我个人的理解来说限流的话应该灵活到可以针对每一个接口来做.比如说一个类里面有5个接口,那么我的限流插件就应该能针对每一个接口就行不同的限流方案.所以呢,既然针对的每个接口所以就需要一个可以唯一标示这个接口的key(我取的是类名+方法名+入参). 分布式限流强烈推荐使用redis+lua或者nginx+lua来实现. 这里用2个限流条件来做示例讲一下常见的限流算法: 接口1它10秒钟最

接口限流

一.什么是限流 使资源以限定的速率被使用.比如:地铁限流,高峰时段限制单位时间内的客流量:电路中的限流器,可以保证电路不超过额定的电流:网站限流,抢购,瞬间的高峰对于后台来说肯定是需要一个限流处理为可接受的速率进行处理. 二.为什么要限流 比如:地铁不限流量,挤爆了:电路不限流,灯爆了:网站不限流,撑爆了. 三.限流的几种方式 常用的限流算法有两种:漏桶算法和令牌桶算法. 漏桶算法:桶中水以限定的速度流出来.缺点:水满溢出.突发请求不能尽快处理,被调整为固定速率. 令牌桶算法:系统会以一个限定的

网站防刷限流

我在nginx 和tengine 之间选择了tengine.tengine是淘宝公司在nginx 研发的.同时也测试过nginx 在一些功能方面不是很好.比如: 限流这块,nginx目前只支持对ip限流 还有对后端服务器的检测方面都不如tengine Tengine version: Tengine/2.3.1nginx version: nginx/1.16.0 今天要说的模块: limit_req_zone 可以 支持对iIP 地址 基于URL,和URL的参数组合限流 在全局配置定义 lim

流量调整和限流技术

在早期的计算机领域,限流技术(time limiting)被用作控制网络接口收发通信数据的速率. 可以用来优化性能,减少延迟和提高带宽等. 现在在互联网领域,也借鉴了这个概念, 用来为服务控制请求的速率, 如果双十一的限流, 12306的抢票等. 即使在细粒度的软件架构中,也有类似的概念. 两种常用算法 令牌桶(Token Bucket)和漏桶(leaky bucket)是 最常用的两种限流的算法. 漏桶算法 它的主要目的是控制数据注入到网络的速率,平滑网络上的突发流量.漏桶算法提供了一种机制,

架构师之路--怎样聊技术天,限流技术和各类编程语言

现在市面上的编程语言以面向对象为主流.面向对象先要从一些最基本的做起.比如我24岁就结婚了,不然怎么面向对象编程.然后刚结婚就生娃了,不然对象跑了咋办?new一个?创建销毁开销很大的,还是生个娃持续持有对象的引用的好. 为啥有些人开口说话能说很久,有些人说话有一搭没一搭的?据我观察发现,动手干活差不多的两个人,会说的将来发展的会更好.原因从具体实例来感受一下. 和朋友聊天,真的,好几年前人人网出来的总有点技术极客精神,聊天我们聊技术.人家问我你们视频是怎么存储怎么播放的.我说我就是做内容,met

WebApiThrottle限流框架使用手册

阅读目录: 介绍 基于IP全局限流 基于IP的端点限流 基于IP和客户端key的端点限流 IP和客户端key的白名单 IP和客户端key自定义限制频率 端点自定义限制频率 关于被拒请求的计数器 在web.config或app.config中定义限制策略 获取API的客户端key 存储限流的数据 运行期间更新限制频率 限流的请求日志 用ThrottlingFilter.EnableThrottlingAttribute特性配置限制频率 关于ThrottlingMiddleware限制频率 介绍 为

鹰眼跟踪、限流降级,EDAS的微服务解决之道

本文主要从服务化的起源开始讲起,围绕EDAS介绍这些年来,随着阿里庞大的电商技术平台流量和并发不断攀升过程中,中间件的微服务技术面临的一系列挑战及解决方法.同时,也会向读者介绍历次双十一背后,EDAS服务化技术的演进历程. 服务化的起源 微服务的解决之道 海量微服务的挑战 关于作者 以下为精彩内容整理: 服务化的起源 阿里巴巴前期技术现状 当时阿里巴巴技术团队规模有500人左右,整个技术网站使用单一War应用,基于传统应用开发架构,业务每年翻倍增长. 我们面临着非常多的问题: 上百人维护一个核心

Nginx 限流

原文链接:http://colobu.com/2015/10/26/nginx-limit-modules/?utm_source=tuicool&utm_medium=referral 电商平台营销时候,经常会碰到的大流量问题,除了做流量分流处理,可能还要做用户黑白名单.信誉分析,进而根据用户ip信誉权重做相应的流量拦截.限制流量.Nginx自身有的请求限制模块ngx_http_limit_req_module.流量限制模块ngx_stream_limit_conn_module基于令牌桶算法

高并发限流算法

开篇 在高并发系统中,有很多手段来保护系统,如缓存.降级和限流等. 缓存:让数据尽早进入缓存,离程序近一点,不要大量频繁的访问DB,可提供系统访问速度和增大系统处理能力. 降级:当服务出问题或者影响到核心流程的性能,需要将服务暂时屏蔽掉,待高峰期过去或问题解决后再启用. 然后,有些场景不能用缓存和降级来解决.比如电商的双十一,用户的购买,下单等行为,是涉及到大量写操作,而且是核心链路,无法降级的. 限流:通过把并发访问/请求进行限速或者一定时间窗口内的请求限制在一定范围内来保护系统,一旦达到限制