这些天跑VGG和GOOGLENET真心快被虐哭了,VGG跑了2个星期才收敛到错误率40%,然后换了土豪的K40,跑一些测试结果给大家看,第一part分享一下性能报告,程序跑在Nvidia K40,显存12G,内存64G服务器,训练和测试数据集建立在自有数据集及imagenet数据集
训练配置:batchsize=128
caffe自有的imagenet with cuDNN模型快于googlenet with cuDNN
VGG16层不用cuDNN慢于caffe自有的imagenet with cuDNN模型
VGG19层不用cuDNN慢于caffe自有的imagenet with cuDNN模型
一、CAFFE 自带配置,使用cuDNN
Forward速度 : 220ms
Backward速度 :360ms
二、CAFFE 自带配置,不使用cuDNN
Forward速度 : 300ms
Backward速度 :410ms
三、GoogleNet,使用cuDNN
Forward速度 : 614ms
Backward速度 :1377ms
四、GoogleNet,不使用cuDNN
Forward速度 : 1145ms
Backward速度 :2009ms
五、VGG16层,使用cuDNN
Forward速度 : 3101ms
Backward速度 :8002ms
六、VGG19层,使用cuDNN
Forward速度 : 3972ms
Backward速度 :8540ms
这里有个问题,据大家讨论说VGG的不用cuDNN会快于用cuDNN,这个需要验证,后续可以update给大家,暂时计算资源比较紧缺,没法实验
另外想说的是,VGG收敛极其缓慢,不建议随便用VGG做工程,跑个参数就可以了,呵呵,土豪的老美,预计VGG收敛需要1个月。