深度学习ECCV2014,imagenet比赛冠亚军GOOGLENET,VGG运算性能分析

这些天跑VGG和GOOGLENET真心快被虐哭了,VGG跑了2个星期才收敛到错误率40%,然后换了土豪的K40,跑一些测试结果给大家看,第一part分享一下性能报告,程序跑在Nvidia K40,显存12G,内存64G服务器,训练和测试数据集建立在自有数据集及imagenet数据集

训练配置:batchsize=128

caffe自有的imagenet with cuDNN模型快于googlenet with cuDNN

VGG16层不用cuDNN慢于caffe自有的imagenet with cuDNN模型

VGG19层不用cuDNN慢于caffe自有的imagenet with cuDNN模型

一、CAFFE 自带配置,使用cuDNN

Forward速度 : 220ms

Backward速度 :360ms

二、CAFFE 自带配置,不使用cuDNN

Forward速度 : 300ms

Backward速度 :410ms

三、GoogleNet,使用cuDNN

Forward速度 : 614ms

Backward速度 :1377ms

四、GoogleNet,不使用cuDNN

Forward速度 : 1145ms

Backward速度 :2009ms

五、VGG16层,使用cuDNN

Forward速度 : 3101ms

Backward速度 :8002ms

六、VGG19层,使用cuDNN

Forward速度 : 3972ms

Backward速度 :8540ms

这里有个问题,据大家讨论说VGG的不用cuDNN会快于用cuDNN,这个需要验证,后续可以update给大家,暂时计算资源比较紧缺,没法实验

另外想说的是,VGG收敛极其缓慢,不建议随便用VGG做工程,跑个参数就可以了,呵呵,土豪的老美,预计VGG收敛需要1个月。

时间: 2024-10-14 23:52:45

深度学习ECCV2014,imagenet比赛冠亚军GOOGLENET,VGG运算性能分析的相关文章

深度学习面试题29:GoogLeNet(Inception V3)

目录 使用非对称卷积分解大filters 重新设计pooling层 辅助构造器 使用标签平滑 参考资料 在<深度学习面试题20:GoogLeNet(Inception V1)>和<深度学习面试题26:GoogLeNet(Inception V2)>中对前两个Inception版本做了介绍,下面主要阐述V3版本的创新点 使用非对称卷积分解大filters InceptionV3中在网络较深的位置使用了非对称卷积,他的好处是在不降低模型效果的前提下,缩减模型的参数规模,在<深度学

[深度学习]受限玻尔兹曼机生成手写数字训练样本实现分析

实现 我们构造了RBM类. 网络的参数可以通过构造器或者是输入参数初始化. 这样RBM可以用作构造一个深度网络, 在这种情况下, 权值矩阵和隐层偏置是和一个MLP网络的sigmoidal层共享的. [深度学习]受限玻尔兹曼机生成手写数字训练样本实现分析

深度学习面试题20:GoogLeNet(Inception V1)

目录 简介 网络结构 对应代码 网络说明 参考资料 简介 2014年,GoogLeNet和VGG是当年ImageNet挑战赛(ILSVRC14)的双雄,GoogLeNet获得了第一名.VGG获得了第二名,这两类模型结构的共同特点是层次更深了.VGG继承了LeNet以及AlexNet的一些框架结构,而GoogLeNet则做了更加大胆的网络结构尝试,虽然深度只有22层,但大小却比AlexNet和VGG小很多,GoogleNet参数为500万个,AlexNet参数个数是GoogleNet的12倍,VG

《卷积神经网络的Python实现》PDF代码+《解析深度学习卷积神经网络原理与视觉实践》PDF分析

CNN正在革新几个应用领域,如视觉识别系统.自动驾驶汽车.医学发现.创新电子商务等.需要在专业项目或个人方案中利用复杂的图像和视频数据集来实现先进.有效和高效的CNN模型. 深度卷积网络DCNN是目前十分流行的深度神经网络架构,它的构造清晰直观,效果引人入胜,在图像.视频.语音.语言领域都有广泛应用. 深度学习,特别是深度卷积神经网络是人工智能的重要分支领域,卷积神经网络技术也被广泛应用于各种现实场景,在许多问题上都取得了超越人类智能的结果. <卷积神经网络的Python实现>作为深度学习领域

经典深度学习CNN- LeNet、AlexNet、GoogLeNet、VGG、ResNet

参考了: https://www.cnblogs.com/52machinelearning/p/5821591.html https://blog.csdn.net/qq_24695385/article/details/80368618 LeNet 参考:https://www.jianshu.com/p/ce609f9b5910 AlexNet 参考:https://baike.baidu.com/item/AlexNet/22689612?fr=aladdin GoogLeNet 201

[深度学习]Python/Theano实现逻辑回归网络的代码分析

首先PO上主要Python代码(2.7), 这个代码在Deep Learning上可以找到. 1 # allocate symbolic variables for the data 2 index = T.lscalar() # index to a [mini]batch 3 x = T.matrix('x') # the data is presented as rasterized images 4 y = T.ivector('y') # the labels are presente

深度学习之六,基于RNN(GRU,LSTM)的语言模型分析与theano代码实现

引言 前面已经介绍过RNN的基本结构,最基本的RNN在传统的BP神经网络上,增加了时序信息,也使得神经网络不再局限于固定维度的输入和输出这个束缚,但是从RNN的BPTT推导过程中,可以看到,传统RNN在求解梯度的过程中对long-term会产生梯度消失或者梯度爆炸的现象,这个在这篇文章中已经介绍了原因,对于此,在1997年 的Grave大作[1]中提出了新的新的RNN结构:Long Short Term Dependency.LSTM在传统RNN的基础上加了许多的"门",如input

Java集合类学习笔记(各种Map实现类的性能分析)

HashMap和Hashtable的实现机制几乎一样,但由于Hashtable是一个古老的.线程安全的集合,因此HashMap通常比Hashtable要快. TreeMap比HashMap和Hashtable要慢(尤其在插入.删除key-value对时更慢),TreeMap中的key-value总是处于有序状态,无需专门进行排序操作. LinkedHashMap比HashMap慢一点,因为它需要维护链表来保持Map中key-value时的添加顺序. IdentityHashMap采用与HashM

深度学习在图像识别中的研究进展与展望

深度学习在图像识别中的研究进展与展望 深度学习是近十年来人工智能领域取得的最重要的突破之一.它在语音识别.自然语言处理.计算机视觉.图像与视频分析.多媒体等诸多领域都取得了巨大成功.本文将重点介绍深度学习在物体识别.物体检测.视频分析的最新研究进展,并探讨其发展趋势. 1.深度学习发展历史的回顾 现在的深度学习模型属于神经网络.神经网络的历史可以追溯到上世纪四十年代,曾经在八九十年代流行.神经网络试图通过大脑认知的机理,解决各种机器学习的问题.1986年Rumelhart.Hinton和Will