进一步聊聊weight initialization

深度学习模型训练的过程本质是对weight（即参数W）进行更新，这需要每个参数有相应的初始值。
有人可能会说：“参数初始化有什么难点？直接将所有weight初始化为0或者初始化为随机数！” 对一些简单的机器学习模型，或当optimization function是convex function时，这些简单的方法确实有效。
然而对于深度学习而言，非线性函数被疯狂叠加，这便是一个非凸函数，如何选择参数初始值便成为一个值得探讨的问题。
研究的目的是：选择更适合的初始化方法，使得目标函数更容易被优化。

初始化为0

如果所有参数都被初始化为0，那么所有神经元的输出将是相同的，反向传播时每一层内所有的神经元的梯度也是相同的，这显然是一个不可行的方案。

预训练

pre-training是早期训练神经网络的有效初始化方法。第一步，将神经网络的每一层取出来，构建auto-encoder做训练，使得输入层和输出层保持一致。在这个过程中参数得到更新，形成初始值；第二步，将每一层放回神经网络中，使用训练数据fine-tuning网络。
随着数据量的增加以及activation function的发展，这种方案已很少采用，大家直接奔着训练的主题去了。现在我们往往是拿任务A(imagenet竞赛)中训练好的模型(可称为pre-training model)，将其放在任务B上做fine-tuning。

random initialization

随机初始化，是最容易想到的方案。但是一旦随机分布选择不当，会导致网络优化陷入困境。

data = tf.constant(np.random.randn(2000, 800))
layer_sizes = [800 - 50 * i for i in range(0,10)]
num_layers = len(layer_sizes)

fcs = []  # To store fully connected layers' output
for i in range(0, num_layers - 1):
    X = data if i == 0 else fcs[i - 1]
    node_in = layer_sizes[i]
    node_out = layer_sizes[i + 1]
    W = tf.Variable(np.random.randn(node_in, node_out)) * 0.01
    fc = tf.matmul(X, W)
    fc = tf.nn.tanh(fc)
    fcs.append(fc)

这里我们创建了一个10层的神经网络，非线性变换为tanh，每一层的参数都是随机正态分布，均值为0，标准差为0.01。每一层输出值分布的直方图：

随着层数的增加，网络输出迅速向0靠拢。在反向传播中，根据链式法则，梯度等于当前输入x(上一层的输出)乘以后一层的梯度，x趋向于0，意味着梯度将很小，参数更新缓慢。

调整初始化策略，增加方差：

W = tf.Variable(np.random.randn(node_in, node_out))

均值仍然为0，标准差现在变为1，此时每一层输出值分布的直方图：

此时，所有值会集中到-1或1附近，神经元饱和saturated了，也就是说tanh在-1和1附近的gradient都接近0，参数亦难更新。

Xavier initialization

泽维尔初始化的基本思想是：保持输入和输出的方差一致。注意：Xavier推到过程是基于线性函数的，但是它在非线性的神经元中依然表现不错。

W = tf.Variable(np.random.randn(node_in, node_out)) / np.sqrt(node_in)

输出值在很多层之后依然保持着良好的分布，这很有利于我们优化神经网络！之前谈到Xavier是在线性函数上推导得出，这说明它对非线性函数并不具有普适性，所以这个例子仅仅说明它对tanh很有效，那么对于目前最常用的ReLU神经元呢?

W = tf.Variable(np.random.randn(node_in, node_out)) / np.sqrt(node_in)
...
fc = tf.nn.relu(fc)

前面看起来还不错，但是后面的趋势却是越来越接近0。幸运的是，He initialization可以用来解决ReLU初始化的问题。

He initialization

He initialization的思想是：在ReLU网络中，假定每一层有一半的神经元被激活，另一半为0，所以，要保持variance不变，只需要在Xavier的基础上再除以2。

W = tf.Variable(np.random.randn(node_in,node_out)) / np.sqrt(node_in/2)
...
fc = tf.nn.relu(fc)

效果得到了很大改善。

Batch Normalization Layer

BN是一种巧妙又粗暴的方法，可以来削弱bad initialization的影响。在网络传播中，我们想要的是在非线性activation之前，输出值应该有较好的分布（如高斯分布），以便于反向传播时计算梯度。BN的做法就是将输出值强制做一次高斯归一化和线性变换。BN的知识可以参考LRN和Batch Norm
随机初始化，有Batch Normalization：

W = tf.Variable(np.random.randn(node_in, node_out)) * 0.01
...
fc = tf.contrib.layers.batch_norm(fc, center=True, scale=True, is_training=True)
fc = tf.nn.relu(fc)

很容易看到，Batch Normalization的效果非常好。

参考

Xavier initialization是由Xavier Glorot et al.在2010年提出，He initialization是由Kaiming He et al.在2015年提出，Batch Normalization是由Sergey Ioffe et al.在2015年提出。

原文地址：https://www.cnblogs.com/houkai/p/10160685.html

时间： 2024-10-28 04:41:55

进一步聊聊weight initialization的相关文章

[CS231n-CNN] Training Neural Networks Part 1 : activation functions, weight initialization, gradient flow, batch normalization | babysitting the learning process, hyperparameter optimization

课程主页:http://cs231n.stanford.edu/ ? Introduction to neural networks -Training Neural Network ______________________________________________________________________________________________________________________________________________________________

总结：Different Methods for Weight Initialization in Deep Learning

这里总结了三种权重的初始化方法,前两种比较常见,后一种是最新的.为了表达顺畅(当时写给一个歪果仁看的),用了英文,欢迎补充和指正. 尊重原创,转载请注明:http://blog.csdn.net/tangwei2014 1. Gaussian Weights are randomly drawn from Gaussian distributions with fixed mean (e.g., 0) and fixed standard deviation (e.g., 0.01). This

Initialization

Welcome to the first assignment of "Improving Deep Neural Networks". Training your neural network requires specifying an initial value of the weights. A well chosen initialization method will help learning. If you completed the previous course o

深度学习性能提高

性能提高分为四个部分: 1. 通过数据提升性能 2. 通过算法提升性能 3. 通过算法调参提升性能 4. 通过嵌套模型提升性能 通常来讲,随着列表自上而下,性能的提升也将变小.例如,对问题进行新的架构或者获取更多的数据,通常比调整最优算法的参数能带来更好的效果.虽然并不总是这样,但是通常来讲是的. 1. 通过数据提升性能 对你的训练数据和问题定义进行适当改变,你能得到很大的性能提升.或许是最大的性能提升. 以下是我将要提到的思路: 获取更多数据 创造更多数据 重放缩你的数据 转换你的数据 特征选

Convolutional Neural Networks for Visual Recognition 5

Setting up the data and the model 前面我们介绍了一个神经元的模型,通过一个激励函数将高维的输入域权值的点积转化为一个单一的输出,而神经网络就是将神经元排列到每一层,形成一个网络结构,这种结构与我们之前介绍的线性模型不太一样,因此score function也需要重新定义,神经网络实现了一系列的线性映射与非线性映射,这一讲,我们主要介绍神经网络的数据预处理以及score function的定义. data processing 给定一个训练集,S={xi∈RD|i

基于粒子滤波的目标追踪

基于粒子滤波的目标追踪 particle filter object tracking 读"K. Nummiaro, E. Koller-Meier, L. Van Gool. An adaptive color-based particle filter[J], Image and Vision Computing, 2002"笔记 粒子滤波中最重要的一个过程就是重要性重采样, Sampling Importance Resampling (SIR). 这篇博客基于粒子滤波的物体跟踪

(转)　Written Memories: Understanding, Deriving and Extending the LSTM

R2RT Written Memories: Understanding, Deriving and Extending the LSTM Tue 26 July 2016 When I was first introduced to Long Short-Term Memory networks (LSTMs), it was hard to look past their complexity. I didn’t understand why they were designed they

深入Windows内核——C++中的消息机制

<编程思想之消息机制>一文中我们讲了消息的相关概念和消息机制的模拟,本文将进一步聊聊C++中的消息机制. 从简单例子探析核心原理 在讲之前,我们先看一个简单例子:创建一个窗口和两个按钮,用来控制窗口的背景颜色.其效果如下: 图 2 :效果图 Win32Test.h #pragma once #include <windows.h> #include <atltypes.h> #include <tchar.h> //资源ID #define ID_BUTTO

神经网络与深度学习（4）：改进神经网络的学习方法

本文总结自<Neural Networks and Deep Learning>第3章的内容. 目录 交叉熵代价函数(The cross-entropy cost function) 柔性最大值(softmax) 过度拟合(Overfitting) 规范化(regularization) 权重初始化(Weight initialization) 神经网络的其他技术 交叉熵代价函数(The cross-entropy cost function) 1. 神经网络学习很慢的含义? 学习慢 =>