caffe再见之训练自己的数据

Caffe的数据格式采用leveldb或者lmdb格式

本文采用数据为已标定过的彩色图像,共1000张训练图共10个类别,200张测试图像10个类别,下载地址:http://pan.baidu.com/s/1hsvz4g8

第一步:数据格式转换

1.编译conver_imageset,在\Caffe-Master\Build\x64\Release下生成convert_imageset.exe。

2.在根目录data文件下新建属于自己的数据集文件夹(主要是为了便于整理,具体位置可以根据自己需要创建)

在新建的数据集文件夹下新建以下文件夹

train和val存放原始的数据,trainldb和valldb存放格式转换后的leveldb数据,mean存放均值文件。

3.用批处理命令对数据加标签,生成train.txt用来保存训练数据的标签;生成val.txt用来保存测试数据的标签 。

4.写一个bat命令,利用convert_imageset.exe生成对应的leveldb格式数据,注意参数和路径。

若报错如下,说明新建的valdb文件夹未清空,清空即可:

运行成功效果图,新建的db文件中会生成如下文件,其中红色箭头所示文件大小不为0:

这样,满足caffe所需的数据文件就制作好了(此处主要描述制作leveldb格式文件,其它类型后续有需要再添加),train和test均需按照上述步骤同样操作。

第二步:数据预处理

生成均值文件

同上编译compute_image_mean,在\Caffe-Master\Build\x64\Release下生成compute_image_mean.exe。

写一个bat命令,利用compute_image_mean.exe生成对应的均值文件,train数据和test数据需经过同样操作。

生成如下文件:

第三步:定义网络结构并训练

此处主要验证制作数据是否可用,故网络直接采用Caffe提供的样例中cifar10的网络结构和配置文件,主要为如下两个

改成自己的命名方式:

主要修改其中的路径

其中1表示训练所需网络文件的路径,2表示生成结果文件的路径。Mine_train_test文件中主要修改leveldb文件路径和均值文件路径。

编写bat文件,开始训练:

训练结果显示:

训练初识别率:

训练后的识别率:

Reference:Windows下caffe训练自己的数据

时间: 2024-07-28 21:33:08

caffe再见之训练自己的数据的相关文章

caffe 利用VGG训练自己的数据

写这个是因为有童鞋在跑VGG的时候遇到各种问题,供参考一下. 网络结构 以VGG16为例,自己跑的细胞数据 solver.prototxt: net: "/media/dl/source/Experiment/cell/test/vgg/vgg16.prototxt" test_iter: 42 test_interval: 1000 base_lr: 0.0001 lr_policy: "step" gamma: 0.1 stepsize: 100000 disp

caffe的学习和使用·一」--使用caffe训练自己的数据

学习知识的一种方式是先会用然后再问为什么. 在安装完成caffe,根据caffe的提示下载完mnist训练测试数据,并且运行lenet训练模型之后,摆在眼前的问题就是我怎么用caffe训练自己的数据啊,mnist的数据通过脚本就可以下载创建成lmdb,我要训练自己的数据集该怎么做? 用caffe训练自己的数据,必须解决的问题有两个:1.如何输入数据, 2.如何定义输出 首先我们解决第一个问题:训练数据的输入,这里我们之介绍使用lmdb的方式 查看lenet的train_val.prototxt,

YOLO2解读,训练自己的数据及相关转载以供学习

https://pjreddie.com/darknet/yolo/ 具体安装及使用可以参考官方文档https://github.com/pjreddie/darknet http://blog.csdn.net/u012235274/article/details/52399425 caffe-yolo 训练http://blog.csdn.net/u012235274/article/details/52120152 caffe 版本 yolo 过程记录 YOLOv2 参数详解[net]//

caffe + ssd网络训练过程

參考博客:https://blog.csdn.net/xiao_lxl/article/details/79106837 1获取源代码:git clone https://github.com/weiliu89/caffe.git2 进入目录中 :cd caffe 3,git checkout ssd 主要参考 https://github.com/weiliu89/caffe/tree/ssd 获取SSD的代码,下载完成后有一个caffe文件夹 git clone https://github

YOLOv3 训练自己的数据附优化与问题总结

YOLOv3 训练自己的数据附优化与问题总结 环境说明 系统:ubuntu16.04 显卡:Tesla k80 12G显存 python环境: 2.7 && 3.6 前提条件:cuda9.0 cudnn7.0 opencv3.4.0 安装cuda和cudnn教程 安装opencv3.4.0教程 实现YOLOV3的demo 首先安装darknet框架,官网链接 git clone https://github.com/pjreddie/darknet.git cd darknet vim M

faster r-cnn 在CPU配置下训练自己的数据

因为没有GPU,所以在CPU下训练自己的数据,中间遇到了各种各样的坑,还好没有放弃,特以此文记录此过程. 1.在CPU下配置faster r-cnn,参考博客:http://blog.csdn.net/wjx2012yt/article/details/52197698#quote 2.在CPU下训练数据集,需要对py-faster-rcnn内的roi_pooling_layer和smooth_L1_loss_layer改为CPU版本, 并重新编译.这位博主对其进行了修改,可直接进行替换:htt

windows10 conda2 使用caffe训练训练自己的数据

首先得到了https://blog.csdn.net/gybheroin/article/details/72581318系列博客的帮助.表示感激. 关于安装caffe已在之前的博客介绍,自用可行,https://www.cnblogs.com/MY0213/p/9225310.html 1.数据源 首先使用的数据集为人脸数据集,可在百度云自行下载: 链接:https://pan.baidu.com/s/156DiOuB46wKrM0cEaAgfMw 密码:1ap0 将train.zip解压可得

caffe的训练之一,数据的组织。

本教程为了那些第一次使用caffe框架进行深度学习训练的人而生的,我来一个简单关于caffe训练数据的组织来个简单的介绍.我们都知道caffe中使用leveldb 和lmd两种方式进行组织数据.这里介绍一种使用lmd进行训练数据组织的方式. 我来贴一段简单的代码 组织数据. 1.     lmd的打开和写入数据 定义环境lmd的环境 MDB_env *mdb_env; MDB_dbi mdb_dbi; MDB_val mdb_key, mdb_data; MDB_txn *mdb_txn; 打开

caffe for windows 训练cifar10 及若干问题

声明:有部分内容转载至笑笑魔导师 1,准备cifar10数据库 cifar10数据库由60000张32*32 彩色图片 共10类 其中50000张训练 10000张测试 下载cifar10数据库:http://www.cs.toronto.edu/~kriz/cifar-10-binary.tar.gz 这是binary格式的,所以我们要把它转换成leveldb格式. 2,转换数据 在../caffe-windows/examples/cifar10文件夹中有一个 convert_cifar_d