正在涌现的新型神经网络模型：优于生成对抗网络

http://www.17bianji.com/lsqh/35130.html

是以，它会让人想起残差前馈收集(residual feed-forward network)，但在实际中，强迫这些收集向前传播误差并不克不及让它们在更高财揭捉习到有效的层次表征。是以，它们不克不及基于更上层的表征来竽暌剐效地履行其它义务，例如分类、瓜分、动作辨认。要明白这些限制，还须要更多的实验。

新一代深度神经收集正在出现。它们演变自前馈模型，之前我们曾作过具体分析，参阅机械之心文┞仿《重磅 | 神经收集架构演进史：周全回想大年夜LeNet5到ENet十余种架构(附论文)》或更新版本：https://medium.com/towards-data-science/neural-network-architectures-156e5bad51ba

跟着深度神经收集技巧的成长，新型的收集架构也在赓续出现。普渡大年夜学 e-Lab 的三位研究者 Alfredo Canziani、Abishek Chaurasia 和 Eugenio Culurciello 近日在 Medium 上发文阐述了一类新型的深度神经收集，其在视频分析上具有无监督进修、瓜分、场景解析、定位、时空表征、视频袈浃测、表征猜测、在线进修等才能，并且还在很多方面优于当前大年夜热的生查对抗收集(GAN)。

这种新型的神经收集大年夜 LeNet5 / AlexNet 及其变体的初始前馈模型进化而来，并且包含有比 ResNet / Inception 更复杂的旁路筹划。因为这些前馈神经收集把图像紧缩并编码为更小的表征向量，其也被称为编码器。

新一代神经收集有两个重要的新特点：

生成性分支(generative branches)：也被称为解码器，因为它们把表征向量投射回输入空间
轮回层(recurrent layers)：其把前一时光步的表征和当前时光步的输入和表征结合在了一路

太棒了!然则这一额外的复杂机能给我们带来什么?

它证清楚明了传统的前馈神经收集有很多局限性：

不克不及准肯定位：因为较高层的下采样和空间分辨率的损掉，特点/目标/类其余定位受到限制。
不克不及进行场景推理：因为把图像紧缩为短表征代码，它们掉去了关于图像构成以及图像或者场景各个部分的空间分列的信息。
具有时光的不稳定性：因为它们应用静止图像进行练习，所以不克不及进修目标在空间中活动时腻滑的时空转化。它们可以辨认一些图像中(但不是全部)目标所属的类型，并且对于对抗性的噪音和扰动异常敏感。
不克不及猜测：因为它们应用时光信息，前馈神经统每一帧供给一个新的表征代码，这只基于当前输入，然则并不猜测下几帧中将会产生什么(留意：有一些例外，它们不在视频长进行练习)

为了克服这些局限，我们须要新一代神经收集，以将已进修的表征投射回输入图像空间，并且可在图像的时光连贯的序列上练习：我们须要在视频长进行练习。

以下是新一代神经收集所具有的高等特点：

无监督进修 - 它们可在视频长进行预练习，以猜测将来的帧或者表征，是以须要更少的标注数据来练习并履行某些义务。

瓜分 - 瓜分一张图像中的不合目标
场景解析 - 其在瓜分之后，如不雅数据集有每一像素的目标标签，用于主动驾驶和加强实际
定位 - 在瓜分和完美的目标界线之后，所有的场景解析和瓜分收集都可以做到此
时空表征 - 应用视频进行练习，而不仅仅是静态图像，懂得时光概念和时光关系
视频袈浃测 - 一些收集被设计用来猜测视频中的将来帧
表征猜测 - 一些收集可以猜测视频中将来帧的表征
在线进修才能 - 经由过程监测猜测与真实将来帧或表征之间的缺点旌旗灯号

生成性梯收集(Generative ladder networks)

这些模型应用一个编码器和一个解码器对以把图像瓜分为不合的部分与目标。实例有： ENet、SegNet、Unet、DenseNet、梯收集以及更多：

ENet：https://arxiv.org/abs/1606.02147
SegNet：https://arxiv.org/abs/1511.00561
Unet：https://arxiv.org/abs/1505.04597
DenseNet：https://arxiv.org/abs/1611.09326
梯收集：https://arxiv.org/abs/1507.02672

下面是一个典范的 3 层模型：

D 模块是标准的前馈层。G 模块是生成性模块，它和标准的前馈层类似，但具有去卷积和上采样。它们同样应用残差类型的连接「res」以把每一编码层的表征与解码层的表征相连。这迫使生成层的表征被前馈表征模块化，大年夜而具有更强的才能去定位，把场景解析为目标和部分。「x」是输入图像，「y」是同一时光步的输出瓜分。

这些收集可以履行瓜分、场景解析、准肯定位，然则不克不及在时域中进行操作，且没有以前帧的记忆。

比来每一层的编码器到解赂旁路赞助这些收集获得了当缁ゎ佳的机能。

递归和生成性梯收集(Recursive and generative ladder networks)

它是最新的深度神经收集之一，把递归添加进了生成性梯收集，大年夜而形成了递归性和生成性梯收集(REGEL)。REGEL 是迄今为止最为复杂的深度神经收集之一，至少在图像分析范畴是如许。

下面是一个我们正应用的 REGEL 的 3 层模型：