如何评价Dual Path Networks（DPN）？

论文链接：https://arxiv.org/pdf/1707.01629v1.pdf
在ImagNet-1k数据集上，浅DPN超过了最好的ResNeXt-101（64×4d），具有26％更小的模型尺寸，25％的计算成本和8％的更低的内存消耗

5 个回答

xiaozhi

CV、ML、DL

1、针对视觉识别任务的“网络工程”一直是研究的重点，其重在设计更为高效的网络拓扑结构，一方面考虑更好的特征表示学习，另一方面尽可能减少计算复杂度和内存消耗。比如之前的典型代表AlexNet,VGGnet,GoogLeNet，ResNet，ResNeXt，Inception-ResNet，WRNnet，DenseNet，SqueezeNet等。
2、DPN是一种结合了ResNet和DenseNet优势的新型卷积网络结构。深度残差网络通过残差旁支通路再利用特征，但残差通道不善于探索新特征。密集连接网络通过密集连接通路探索新特征，但有高冗余度。
3、论文从数学表达上对ResNet、DenseNet和HORNN的关系进行了表示，经证明，当连接在层中共享时残差网可看作密集连接网络，当权重在各步中共享时密集连接网络是高阶RNN。在之前只是从图示上感受各种神经网络模型结构中各层的连接关系，并未深入。
4、就实验结果而言，DPN 中的特征共享机制和探索新特征的灵活性被证明，DPN作为主干网络，其在图像分类、目标检测、语义分割任务都达到很好的效果。
刚看了这篇论文，对细节还没理解透，权当做个笔记。
PS.新加坡国立大学（NUS）和奇虎 360 组成的 NUS-Qihoo_DPNs (DET)在目标检测任务取得不错成绩。而今年也是最后一届基于ImageNet的ILSVRC挑战赛，是不是表明分类检测任务已经取得相对完善的表现？之后可能更侧重于语义和行为关系方向？

编辑于 2017-07-18

Miracle

深度学习，图像算法

谢邀。现在优秀的算法很多，也有很多研究者在结合一些优秀的算法思考能不能碰撞出美丽的火花，DPN算是将DenseNet和ResNext结合得不错的算法，以ResNext算法为主框架，引入DenseNet的思想不是空穴来风，背后的数学含义更值得思考，没有理论支撑的话，蒙头融合模型很多时间知识浪费时间。

发布于 2017-08-13

侯凯

技术，码农

结合了ResNext和DenseNet

不过我在K40上测试，DPN98的训练速度只有8.64 samples/sec；resnext101(64*4d)却有9.31 samples/sec。

当然，显存占用和模型大小确实是DPN98要小于resnext101(64*4d)的。

25％的计算成本在哪里体现呢？

（答：显存小，增大batchsize，可以增加计算的有效性，加大samples/sec的值）测试是K40 DPN可以达到0.10s resnext101要0.13，DPN的模型也要小一些；提升还是有的，应该主要是训练过程中的数据处理影响了时间。

from：https://www.zhihu.com/question/62282589

原文地址：https://www.cnblogs.com/bonelee/p/9031623.html