golang backoff重试指数退避算法

前言:

前时间出了一个小问题,下游的服务时不时的阻塞,我这边为了确保数据一致性,不断的重试请求,这样的后果自然是雪上加霜。当然,下游处理的有待提高,但我们是否有更好的办法来优化重试? backoff 指数退避算法就是干这事的.

该文章后续仍在不断的更新修改中, 请移步到原文地址http://xiaorui.cc/?p=5836

backoff 退避算法

什么是退避算法?通常我们的某服务发生故障时,我们会固定间隔时间来重试一次?但这样会带来一些问题,同一时间有很多请求在重试可能会造成无意义的请求。

指数退避算法会利用抖动(随机延迟)来防止连续的冲突。 效果如下,每次间隔的时间都是指数上升,另外加了少许的随机。

等待时间:101 ms
等待时间:208 ms
等待时间:413 ms
等待时间:821 ms
等待时间:1602 ms
等待时间:3203 ms

我这边封装了golang backoff的指数退避库,有兴趣的可以看看代码https://github.com/rfyiamcool/backoff

backoff的代码实现简单,他的使用方法也简单,给出一个例子。

b := NewBackOff(
    WithMinDelay(100*time.Millisecond),
    WithMaxDelay(10*time.Second),
    WithFactor(2),
)

equals(t, b.Duration(), 100*time.Millisecond)
equals(t, b.Duration(), 200*time.Millisecond)
equals(t, b.Duration(), 400*time.Millisecond)
for index := 0; index < 100; index++ {
    b.Duration()
}

// is max
equals(t, b.Duration(), 10*time.Second)
b.Reset()
equals(t, b.Duration(), 100*time.Millisecond)

如果要实现少许的随机延迟时间,需要开启jitter参数

b := NewBackOff(
    WithMinDelay(100*time.Millisecond),
    WithMaxDelay(10*time.Second),
    WithFactor(2),
    WithJitterFlag(true),
)

equals(t, b.Duration(), 100*time.Millisecond)
between(t, b.Duration(), 100*time.Millisecond, 200*time.Millisecond)
between(t, b.Duration(), 100*time.Millisecond, 400*time.Millisecond)
b.Reset()
equals(t, b.Duration(), 100*time.Millisecond)

总结:

来源:http://xiaorui.cc/2019/04/23/golang-backoff%E9%87%8D%E8%AF%95%E6%8C%87%E6%95%B0%E9%80%80%E9%81%BF%E7%AE%97%E6%B3%95/

原文地址:https://www.cnblogs.com/gao88/p/12121106.html

时间: 2024-11-02 13:51:16

golang backoff重试指数退避算法的相关文章

指数退避算法exponential back-off algorithm

在很多场景下,我们都需要解决一些诸如轮训这样的问题.如果这样的算法出现在app上,这种轮训对于app性能和电量的消耗都是个巨大的灾难,那如何解决这种问题呢? app在上一次更新操作之后还未被使用的情况下,使用指数退避算法exponential back-off algorithm来减少更新频率.这里我们介绍下指数退避算法. SharedPreferences sp = context.getSharedPreferences(PREFS, Context.MODE_WORLD_READABLE)

【算法】6、指数退避算法

今天简单跟大家聊下指数退避算法(Exponential Backoff ),关于指数避退算法的话题开始前首先向大家抛出几个问题:指数退避算法是什么呢?为什么要用指数退避算法呢?指数退避算法的应用场景有哪些呢?代码如何实现呢?带着这些疑问诸君且向下看. 指数退避算法到底是什么呢?wiki上有这么一段解释:"Exponential backoff is an algorithm that uses feedback to multiplicatively decrease the rate of s

二进制指数退避算法

2019/12/18 二进制指数退避算法(来自于百度百科) CSMA/CD采用二进制指数退避算法,又称为二元指数后退算法.退避算法是以冲突窗口大小为基准的,每个节点有一个冲突计数器C.退避的时间与冲突次数具有指数关系,冲突次数越多,退避的时间就可能越长,若达到限定的冲突次数,该节点就停止发送数据. 定义 二进制退避技术(Binary Exponential Back off). 指在遇到重复的冲突时,站点将重复传输,但在每一次冲突之后,随着时延的平均值将加倍.二进制指数退避算法提供了一个处理重负

Golang指数退避算法

package main import ( "fmt" "time" ) const MAXSLEEP = 128 func main() { for numsec := 1; numsec <= MAXSLEEP; numsec <<= 1 { // TODO if numsec <= MAXSLEEP/2 { time.Sleep(time.Second * time.Duration(numsec)) fmt.Println("

[Android Traffic] 调整定时更新的频率(C2DM与退避算法)

转载自: http://blog.csdn.net/kesenhoo/article/details/7395253 Minimizing the Effect of Regular Updates[最小化定时更新操作的副作用] 最佳的定时更新频率是不确定的,通常由设备状态,网络连接状态,用户行为与用户定义明确的偏好而决定. Optimizing Battery Life([Android Training - 04]优化电池寿命)这一章有讨论如何根据设备状态来修改更新频率.里面介绍了当断开网络

AWS 中的错误重试和指数退避

网络上的大量组件 (例如 DNS 服务器.交换机.负载均衡器等) 都可能在某个指定请求生命周期中的任一环节出现问题.在联网环境中,处理这些错误回应的常规技术是在客户应用程序中实施重试.此技术可以提高应用程序的可靠性和降低开发人员的操作成本. 每个 AWS 开发工具包都会实现自动重试逻辑.AWS SDK for Java会自动重试请求,您可以使用 ClientConfiguration 类配置重试设置.例如,对于发出的请求采用最低延迟并且不想重试的网页,您可能会希望关闭重试逻辑.您可以使用 Cli

AWS 中的错误重试和指数退避 Error Retries and Exponential Backoff in AWS

AWS 中的错误重试和指数退避 Error Retries and Exponential Backoff in AWS Do some asynchronous operation. retries = 0 DO wait for (2^retries * 100) milliseconds status = Get the result of the asynchronous operation. IF status = SUCCESS retry = false ELSE IF statu

指数平滑算法

对时间序列的预测,用的最多的是指数平滑算法,算法不复杂. 首先理解一个基本公式: 指数平滑法的基本公式是: 式中, St--时间t的平滑值: yt--时间t的实际值: St ? 1--时间t-1的平滑值: a--平滑常数,其取值范围为[0,1]: 说明: 1. 此公式用t-1时刻的平滑值和t时刻的hi实际值来计算t时刻的平滑值 2. a是系数,越接近1的话,远期数据对于计算结果影响越小,越接近0,则影响越大 用newlisp表达公式如下: (define (cal-basic real-t1 s

时间序列挖掘-预测算法-三次指数平滑法(Holt-Winters)——三次指数平滑算法可以很好的保存时间序列数据的趋势和季节性信息

from:http://www.cnblogs.com/kemaswill/archive/2013/04/01/2993583.html 在时间序列中,我们需要基于该时间序列当前已有的数据来预测其在之后的走势,三次指数平滑(Triple/Three Order Exponential Smoothing,Holt-Winters)算法可以很好的进行时间序列的预测. 时间序列数据一般有以下几种特点:1.趋势(Trend)  2. 季节性(Seasonality). 趋势描述的是时间序列的整体走势