caffe实战笔记

Caffe简要介绍:

Caffe还没有windows版本,所以我需要远程登录linux服务器

Caffe主要处理图片/图片序列

Caffe读取的数据格式


从专用的数据库中读取(lmdb、leveldb)


直接读取图片


从内存中读取(会占很多内存)


从HDF5文件中读取


从滑动窗口中读取(在大图中滑动一次作为一张小图)

最常用的是前面两种方式。默认是从lmdb数据库格式中读取,因此需要先把图片文件转换成lmdb格式文件。直接读取图片会导致无法减均值。如果不考虑减均值的情况,可直接读取图片。

Caffe操作1----准备数据

Step1:得到文件列表清单

上面的图片源自FER库,其中单张图表示一个表情,写代码自动生成txt文档

Step2:转换成imdb格式

命令原理:

其中包括上面四个参数,粉色参数可以选择不设,其中--表示可以不调整

实际操作:

在根目录home下的/caffe路径下打开终端,输入sudo命令,输入密码,进入最大权限:

输入命令:(输入时注意空格)

在caffe中,作者为我们提供了这样一个文件:convert_imageset.cpp,存放在根目录下的tools文件夹下。编译之后,生成对应的可执行文件放在 buile/tools/ 下面,这个文件的作用就是用于将图片文件转换成caffe框架中能直接使用的imdb文件。

屏幕上显示:

查看结果:

在目标目录下新增了我命名的一个文件夹

文件夹里包括两个子文件,data.mdb存放数据;lock.mdb存放标签

基础知识补充

Linux下的文件夹与目录


/home


根目录,分区时分得最大


/bin


存放系统命令


/user


最大的目录,存放应用程序和文件


/etc


存放配置文件


/dev


设备特殊文件


/mnt


用于临时挂载硬盘、光盘


/src


里面放源文件如cpp

如何生成train.txt文件以及如何在转imdb格式时调整图片格式,见:http://www.cnblogs.com/denny402/p/5082341.html

Step3:计算均值

减去均值,可以提高精度。当然也可以选择不减均值。

扩展名必须是binaryproto

实际代码:

其中包括两个参数,一个是放置imdb数据的文件地址,另一个是保存均值文件的地址及文件名字

得到binarypro均值文件

扩展阅读:http://www.cnblogs.com/denny402/p/5102328.html

Caffe操作2----构建网络结构

在运行的整个流程中,可以分为三个阶段:训练阶段、验证阶段和测试阶段。网络结构在不同的阶段是不同的,都存放在prototxt文件里面。为了方便,一般将训练阶段和验证阶段的网络结构放在一个文件里,测试阶段的网络结构单独放在一个文件里:

一个layer表示一层

layer是可以复制可以嵌套的

1)数据层

Name可以随便取

Type是系统自带的,不可以自己命名

Top表示向上传送数据,bottom表示从下面接收数据,通过这个top还是bottom就决定了数据的流向以及不同层之间的链接关系

Phase:train表示只有训练时调用这层

Mirror表示翻转

Cropsize表示一张图变为40*40*10,使得样本数增加

Batchsize是2的倍数,表示批量处理

http://www.cnblogs.com/denny402/p/5070928.html

2)卷积层

Decay=0表示不衰减

Num_output 卷积核个数/节点数目

Kernal_size 一般是3*3 5*5 7*7 不能太大

Padding 卷积后图变小,所以固定填充0,如果=2,表示周边上下左右填充2个pixel

Gaussian表示用高斯方法对w与b进行初始化

http://www.cnblogs.com/denny402/p/5071126.html

3)激活层

常用relu,sigmod

http://www.cnblogs.com/denny402/p/5072507.html

4)池化层

caffe只支持max和average,stochastic是随机的意思

Stride不能写1,否则就没有池化功能

http://www.cnblogs.com/denny402/p/5071126.html

5)全连接层

Xvaier初始化方法很好,默认值为0

Type类型都不变

http://www.cnblogs.com/denny402/p/5072746.html

6)其它层

Loss层加在全连接层后面

如果要测试,还加一层softmax层

Deploy.prototxt文件用于测试阶段,测试数据没有标签值,因此数据输入层与其它两个阶段不同。

Caffe自动会复制灰度图变为3通道图

Caffe操作3----配置参数solver.prototxt

这里设置全局参数

每训练完成一个interval以后就验证一次是否>449

基础学习率决定收敛不收敛

Step:每隔多少变化一次

Stepshot:每训练多少保存一次参数

http://www.cnblogs.com/denny402/p/5074049.html

Caffe操作4----训练模型

这一步会生成caffe 的model文件,把参数训练完成

例:

build/tools/caffe train -solver /home/bnu/fer/solver.prototxt

http://www.cnblogs.com/denny402/p/5076285.html

Caffe操作5----测试模型

Classification.bin是自带的可执行体

http://www.cnblogs.com/denny402/p/5111018.html

时间: 2024-11-05 22:50:52

caffe实战笔记的相关文章

深度学习Caffe实战笔记(19)Windows平台 Faster-RCNN 制作自己的数据集

"-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> 深度学习Caffe实战笔记(19)Windows平台 Faster-RCNN 制作自己的数据集 - gybheroin的博客 - 博客频道 - CSDN.NET gybheroin的博客 目录视图 摘要视图 订阅 [活动]2017 CSDN博客专栏评选 &nbsp [

CAFFE学习笔记(四)将自己的jpg数据转成lmdb格式

1 引言 1-1 以example_mnist为例,如何加载属于自己的测试集? 首先抛出一个问题:在example_mnist这个例子中,测试集是人家给好了的.那么如果我们想自己试着手写几个数字然后验证识别效果又当如何呢? 观察CAFFE_ROOT/examples/mnist/下的lenet_train_test.prototxt文件,发现里面既给出了训练集的路径,又给出了测试集的路径.因此答案很显然了,我们可以把自己的测试集做成leveldb(或lmdb)格式的,然后在lenet_train

Caffe学习笔记3

Caffe学习笔记3 本文为原创作品,未经本人同意,禁止转载,禁止用于商业用途!本人对博客使用拥有最终解释权 欢迎关注我的博客:http://blog.csdn.net/hit2015spring和http://www.cnblogs.com/xujianqing http://caffe.berkeleyvision.org/gathered/examples/feature_extraction.html 这篇博客主要是用imagenet的一个网络模型来对自己的图片进行训练和测试 图片下载网

定向爬虫实战笔记

定向爬虫实战笔记 流程图如下: 来自追女神助手(痴汉)v0.1: 1.#-*-coding:utf8-*-2.3.import smtplib4.from email.mime.text import MIMEText5.import requests6.from lxml import etree7.import os8.import time9.import sys10.reload(sys)11.sys.setdefaultencoding('utf-8')12.13.14.15.clas

机器学习实战笔记6(SVM)

鉴于July大哥的SVM三层境界(http://blog.csdn.net/v_july_v/article/details/7624837)已经写得非常好了,这里我就不详细描述,只是阐述简单的几个概念.如果看SVM三层境界有困惑,我也愿意与大家交流,共同进步. 简单概念描述: (1)      支持向量机(SVM, support vectormachine)就是通过最大化支持向量到分类超平面之间的分类间隔.分类超平面就是我们想要得到的决策曲面:支持向量就是离分类超平面最近的点,而间隔即为支持

[ios5 cocos2d游戏开发实战] 笔记3-FileUtils, notificationCenter

FileUtils //文件管理工具 FileUtils::getInstance() std::string getStringFromFile(const std::string& filename);//读取文件中的字符串 Data getDataFromFile(const std::string& filename);//获取文件数据 void setSearchPaths(const std::vector<std::string>& searchPaths

Unity3D项目实战笔记(10):Unity3D编译IPA的PostEvents–节约时间利器

最近,SDK支付等接入差不多了,就从Unity3D生成IPA (企业版License), 然,需要手动执行的PostEvents竟然多大10项+, 这些我默默的承受了1周时间,每次约浪费20分钟-额外的. 周末用了2天时间,研究一下官方的例子和雨松的相关博客2篇,总算是搞定了这件事情,开心! 痛苦的前传: Unity3D导出为XCode工程后,有如下任务需要做 Plist 文件中 <key>CFBundleDevelopmentRegion</key> 中文 <string&

Unity3D项目实战笔记(5):延时功能的几种实现

我所做过的系统,分单机版系统(2005年).CS系统(2010年).实时系统(2015年),各个系统均有“延时”功能:定时调度的: 本博客说的是实时系统中的延时功能(基于Unity3D游戏引擎). 在Unity3D中,新建的脚本会默认继承MonoBehaviour,其中Update函数会被引擎自动调度,如在我的电脑上,Update函数被调用的周期为0.012s. 那么Unity3D中,仅有通过Update函数来实现延时功能吗?  还有无其他的实现呢? 怎么才能让一个界面只显示1秒之后 然后再执行

机器学习实战笔记7(Adaboost)

1:简单概念描述 Adaboost是一种弱学习算法到强学习算法,这里的弱和强学习算法,指的当然都是分类器,首先我们需要简单介绍几个概念. 1:弱学习器:在二分情况下弱分类器的错误率会高于50%.其实任意的分类器都可以做为弱分类器,比如之前介绍的KNN.决策树.Na?ve Bayes.logiostic回归和SVM都可以.这里我们采用的弱分类器是单层决策树,它是一个单节点的决策树.它是adaboost中最流行的弱分类器,当然并非唯一可用的弱分类器.即从特征中选择一个特征来进行分类,该特征能是错误率