deep learning（rnn、cnn）调参的经验？

整理的链接：https://www.zhihu.com/question/41631631
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

调了快1年的rnn, 深刻的感受到,深度学习是一门实验科学,下面是一些炼丹心得. 后面会不断补充. 有问题的地方,也请大家指正.

1. 参数初始化,下面几种方式,随便选一个,结果基本都差不多.
1. uniform
   W = np.random.uniform(low=-scale, high=scale, size=shape)
2. glorot_uniform
   scale = np.sqrt(6. / (shape[0] + shape[1]))
   np.random.uniform(low=-scale, high=scale, size=shape)
3. 高斯初始化:
   w = np.random.randn(n) / sqrt(n),n为参数数目
   激活函数为relu的话,推荐
   w = np.random.randn(n) * sqrt(2.0/n)
4. svd ,对RNN效果比较好,可以有效提高收敛速度.
2. 数据预处理方式
   1. zero-center ,这个挺常用的.
      X -= np.mean(X, axis = 0) # zero-center
      X /= np.std(X, axis = 0) # normalize
   2. PCA whitening,这个用的比较少.
3. 训练技巧
   1. 要做梯度归一化,即算出来的梯度除以minibatch size
   2. clip c(梯度裁剪): 限制最大梯度,其实是value = sqrt(w1^2+w2^2….),如果value超过了阈值,就算一个衰减系系数,让value的值等于阈值: 5,10,15
   3. dropout对小数据防止过拟合有很好的效果,值一般设为0.5,小数据上dropout+sgd效果更好. dropout的位置比较有讲究, 对于RNN,建议放到输入->RNN与RNN->输出的位置.关于RNN如何用dropout,可以参考这篇论文:http://arxiv.org/abs/1409.2329
   4. adam,adadelta等,在小数据上,我这里实验的效果不如sgd,如果使用sgd的话,可以选择从1.0或者0.1的学习率开始,隔一段时间,在验证集上检查一下,如果cost没有下降,就对学习率减半. 我看过很多论文都这么搞,我自己实验的结果也很好. 当然,也可以先用ada系列先跑,最后快收敛的时候,更换成sgd继续训练.同样也会有提升.
   5. 除了gate之类的地方,需要把输出限制成0-1之外,尽量不要用sigmoid,可以用tanh或者relu之类的激活函数.
   6. rnn的dim和embdding size,一般从128上下开始调整. batch size,一般从128左右开始调整.batch size合适最重要,并不是越大越好.
   7. word2vec初始化,在小数据上,不仅可以有效提高收敛速度,也可以可以提高结果.
   8. 尽量对数据做shuffle
   9. LSTM 的forget gate的bias,用1.0或者更大的值做初始化,可以取得更好的结果,来自这篇论文:http://jmlr.org/proceedings/papers/v37/jozefowicz15.pdf, 我这里实验设成1.0,可以提高收敛速度.实际使用中,不同的任务,可能需要尝试不同的值.
4. Ensemble: 论文刷结果的终极核武器,深度学习中一般有以下几种方式
   1. 同样的参数,不同的初始化方式
   2. 不同的参数,通过cross-validation,选取最好的几组
   3. 同样的参数,模型训练的不同阶段
   4. 不同的模型,进行线性融合. 例如RNN和传统模型.  

      补充一点，adam收敛虽快但是得到的解往往没有sgd+momentum得到的解更好，如果不考虑时间成本的话还是用sgd吧。
      再补充一个rnn trick，仍然是不考虑时间成本的情况下，batch size=1是一个很不错的regularizer, 起码在某些task上,这也有可能是很多人无法复现alex graves实验结果的原因之一，因为他总是把batch size设成1。。。

      最近在看 Karpathy 的 cs231n, 还没看完, 不过过程中总结了一下他提到的一些技巧:

      关于参数:

      • 通常情况下, 更新参数的方法默认用 Adam 效果就很好
      • 如果可以载入全部数据 (full batch updates), 可以使用 L-BFGS

      Model Ensembles:

      • 训练多个模型, 在测试时将结果平均起来, 大约可以得到 2% 提升.
      • 训练单个模型时, 平均不同时期的 checkpoints 的结果, 也可以有提升.
      • 测试时可以将测试的参数和训练的参数组合起来:

      1.无论是cnn还是rnn，batch normalization都有用，不一定结果提高几个点，收敛快多了
      2.数据初始时normalize得好，有时候直接提高2个点，比如cifar10，转到yuv下normalize再scn
      3.loss不降了lr就除10
      4. google的inception系列按它论文里说的永远无法复现

      本人做rnn的文本相关研究，一直使用adam，下降速度巨快，看别人论文也尝试过adadelta和adagrad，但不知是姿势不对还是别的原因效果很差，batch-size大小设置在50（训练集大小为17w），dropout随大流0.5，另外我发现l2取值对我的结果影响挺大的，之前一直跟着别人论文用0.001，我换成0.0001以后发现提升了1%