Deep Learning Tutorial (翻译) 之 Denoising Autoencoder

英文原文请参考http://www.deeplearning.net/tutorial/dA.html

自编码

一个自编码接受x作为输入，映射成隐藏层表示y：

其中，s是非线性函数，如sigmod。y通过一个decoder映射成与x有着相同shape的重构的z，通过相似的转换：

z可以看作是x的预测，给定编码code y。可选地，W‘可以是W的转置，W‘=W^T，目标是优化参数W，b,b‘使得平均重构误差最小。

重构误差取决于输入数据的合适的分布假设，可以使用传统的平方差，如果输入是位变量，可以使用交叉熵：

编码y可以看作是数据的主成分。如果隐藏层是线性的并使用平方差来训练网络，那么k个隐藏层单元可以看作数据的k个主成分。如果隐藏层

是非线性的，那么它就不同于PCA。

y可看作x的有损压缩，我们希望优化使得对训练数据和其他输入都有好的压缩效果，但是当测试样本和训练样本不符合同一分布，

即相差较大时，效果不好。