首先帮Caffe甩个锅:Caffe对图像处理进行了很高明的封装,以protobuffer形式组织的搭积木式的网络构建也很灵活方便,这里的坑都是自己走路不稳崴进去的。
1. Caffe的一个iter是一个batch,不是一个epoch。
2. 使用现有模型存档对网络进行fine_tune的时候,由于改变了输出的number,最后一层必须重新命名,目的是不复用最后一层的存档参数。和tensorflow不太一样的时候,如果最后一层的参数数量不一致,训练时不会抛出异常,居然可以正常运行,然后。。。收敛只是梦一场。
3. 对于caffe的分类标签文件,需要严格遵循从0开始的规则,如果像我一样拍脑袋从1开始,您能收敛,我直播吃手机。 (据同事经验:类别需要连续,0,1,2,3,4....是ok的;0,1,2,4,6.....是会被ko的)。
4. 学习率选择需要炼丹的耐性,建议从0.001开始试错,每次降一个数量级。从过大和过小的学习率去初始训练,都会极大提升时间成本(和你的怨念感)。
5. 因为我做分类用的label文件在前期做了比较多的数值处理,类型转换等工作,每一个流程/环节有疏忽都会造成最终的label文件有问题,并且这些问题因为数据量过大,很难通过肉眼排查, 非常容易出错,对于label文件的生成,小心为妙!
(估计未完,只能待续)
原文地址:https://www.cnblogs.com/punkcure/p/9233857.html
时间: 2024-10-25 17:43:19