2016.4.15 Yann Lecun 的 LeNet-5

偶然又翻到了yann lecun的LeNet和MNIST的展示，注意到了这么几点：

1.     
特征向量的激活很是相似，注意第三列的激活，会黑白都很相似，所以说明其实提取的特征类型都是一样的？但是只是特征的权重大小不太一样？

那么是否可以有一个动态调整大小的网络，使得如果某些维度经常不用，那么就自动减小？这样来减小网络的大小？（虽然最后一层并没有多少参数）

2.     
在面对噪声的时候，最后的特征向量几乎不变，卷积核没变，但是data变了，如果说提取的特征，那么肯定特征是变了的。

所以我觉得应该是提取的某特征的分布，但是在更高的抽象层次上，这个分布的分布，就显得非常均匀了。什么意思呢？比如说我在较低的层次提取到了某一个分布的特征，可能是一个y=x(举个例子)，加了噪声之后，实际上相当于是(y=x+1)，那么再更高一层的抽象中，可能这两个由于只是一个常数的差别，那么就没差多少。

那么如果我图像一部分加一种噪声，另一部分加另一种噪声呢？

参考资料：

cnn＋mnist展示网站：

http://yann.lecun.com/exdb/lenet/index.html