目录

　　指数移动平均

　　BN在卷积网络中的使用

　　参考资料

假设变量x_t随时间t变化，按照以下规则定义其指数移动平均值

假设α=0.7

当t=1时，x₁=5，则ema⁽¹⁾=x₁=5

当t=2时，x₂=10，则ema⁽²⁾=α*ema⁽¹⁾+(1-α)*x₂=0.7*5+(1-0.7)*10=6.5

当t=3时，x₃=15，则ema⁽³⁾=α*ema⁽²⁾+(1-α)*x₃=0.7*6.5+(1-0.7)*15=9.05

当t=4时，x₄=20，则ema⁽⁴⁾=α*ema⁽³⁾+(1-α)*x₄=0.7*9.05+(1-0.7)*20=12.335

经过四次运算后，最后的移动平均值为12.335

对应代码为：

import numpy as np
import matplotlib.pyplot as plt
t = [1,2,3,4]
x = [5,10,15,20]
res = [x[0]]
for i in x[1:]:
    a = 0.7*res[-1]+0.3*i
    res.append(a)
plt.plot(t,x,"r")
plt.plot(t,res,"b")

换一个复杂一点的图像观测指数移动平均，可以发现，他在会保留原来的走势，并且适应新的走势：

import numpy as np
import random
import matplotlib.pyplot as plt
random.seed(20190725)
t = np.linspace(-5,5,100)
x = [-i**2+random.random()*15 for i in t]
res = [x[0]]
for i in x[1:]:
    a = 0.7*res[-1]+0.3*i
    res.append(a)
plt.plot(t,x,"r")
plt.plot(t,res,"b")

返回目录

以下图BN操作为例说明：

每个BN层最终都会保存一对最终的均值和方差，可以用于测试阶段

返回目录

《图解深度学习与神经网络：从张量到TensorFlow实现》_张平

Batch Normalization_ Accelerating Deep Network Training by Reducing Internal Covariate Shift

返回目录

原文地址：https://www.cnblogs.com/mfryf/p/11381373.html