[caffe] 数据制作和训练

在使用caffe时,我们希望使用自己的数据进行训练,以下给出如何制作自己的数据。所有的数据制作都是基于imagenet的。

1.数据准备,我们需要一个train和valid文件夹,一个train.txt和val.txt(图片文件夹的位置可以任意,但是这两个txt文件的位置在data/mydata/目录下)

train和valid文件夹自然就存放着待训练的图片,train.txt和val.txt的数据格式如下

train_example/1.jpg 0
train_example/2.jpg 0
train_example/3.jpg 0
train_example/4.jpg 0
train_example/5.jpg 0
train_example/6.jpg 0
train_example/7.jpg 0
train_example/8.jpg 0
train_example/9.jpg 0

前边是图片路径,后便是label,注意label是从0开始的。

2. 在example目录下创建自己的文件夹mytask,将imagenet中所有的文件烤过来,然后进行修改。

create_imagenet.sh

//当前路径
EXAMPLE=/home/kongtao/caffe-master/examples/voc2007_test1
//存放train.txt和val.txt的路径,就是data/mydata
DATA=/home/kongtao/caffe-master/data/voc2007_data1
//不变
TOOLS=/home/kongtao/caffe-master/build/tools

//存放train和val图片文件夹的主目录(这里与txt文件中的目录合起来才是图片目录)
TRAIN_DATA_ROOT=/home/kongtao/learn/cnn_learn/VOC2007_research/VOCdevkit/
VAL_DATA_ROOT=/home/kongtao/learn/cnn_learn/VOC2007_research/VOCdevkit/

运行create_imagenet.sh,生成两个数据文件lmdb

make_image_mean.sh 也是修改相应的路径

最后需要修改的是model中prototxt文件,只需要修改路径

运行

./build/tools/caffe train --solver=models/bvlc_reference_caffenet/solver.prototxt

这样就可以了。

以上完成了一个数据文件的创建和训练的过程,对于我们来说,其实网络架构显得更重要,因此不仅仅是调通,更重要的是调整网络架构和改进,这也是最难得部分。

时间: 2024-08-11 06:04:19

[caffe] 数据制作和训练的相关文章

Caffe上用SSD训练和测试自己的数据

    学习caffe第一天,用SSD上上手. 我的根目录$caffe_root为/home/gpu/ljy/caffe 一.运行SSD示例代码 1.到https://github.com/weiliu89/caffe.git下载caffe-ssd代码,是一个caffe文件夹 2.从已经配置好的caffe目录下拷贝一个Makefile.config放到$caffe_root下 3.在$caffe_root下打开命令行终端,输入以下命令 make -j8 make py make test -j8

【iOS】正则表达式抓取网页数据制作小词典

应用程序不一定要自己去提供数据,有现成的数据学会去用才好. 网络很大,各种搜索引擎每天到处爬.本文通过正则表达式抓取网站的数据来做一个小词典. 一.正则表达式的使用 1. 确定匹配方案,即pattern 2. 用pattern实例化NSRegularExpression 3. 用匹配方法开始匹配. 匹配一次:可以使用firstMatch方法 匹配多次:可以用matchs方法 正则表达式对照表:(在网上找到了一个很不错的表,正则表达式各个语言通用) http://www.jb51.net/shou

Plotly(在线可视化数据制作)

插件介绍: 相比传统的文字图表来说,可视化数据可以帮助用户更方便地进行数据分析,能更加直观的查看.处理.开发和应用.Plotly是一款在线制作可视化数据的工具,它可以为你提供制图和分析等服务,支持任何格式,比如Excle电子表格.TSV.Matlab.CSV.MS Access等众多格式,同时你可以使用线图.条形图.热图.箱线图或更多. 使用说明: 将Plotly(在线可视化数据制作)添加至chrome,并在扩展器中启动它. 功能介绍: -从文件中导入数据,Dropbox和谷歌驱动器.-分析数据

使用caffe的cifar10网络模型训练自己的图片数据

由于我涉及一个车牌识别系统的项目,计划使用深度学习库caffe对车牌字符进行识别.刚开始接触caffe,打算先将示例中的每个网络模型都拿出来用用,当然这样暴力的使用是不会有好结果的- -||| ,所以这里只是记录一下示例的网络模型使用的步骤,最终测试的准确率就暂且不论了! 一.图片数据库 来源 我使用的图像是在项目的字符分割模块中分割出来的字符图像,灰度化并归一化至32*64,字符图片样本示例如下: 建立自己的数据文件夹 在./caffe/data/目录下建立自己的数据文件夹mine,并且在mi

【转】caffe数据层及参数

原文: 要运行caffe,需要先创建一个模型(model),如比较常用的Lenet,Alex等, 而一个模型由多个层(layer)构成,每一层又由许多参数组成.所有的参数都定义在caffe.proto这个文件中.要熟练使用caffe,最重要的就是学会配置文件(prototxt)的编写. 层有很多种类型,比如Data,Convolution,Pooling等,层之间的数据流动是以Blobs的方式进行. 今天我们就先介绍一下数据层. 数据层是每个模型的最底层,是模型的入口,不仅提供数据的输入,也提供

caffe初步实践---------使用训练好的模型完成语义分割任务

caffe刚刚安装配置结束,乘热打铁! (一)环境准备 前面我有两篇文章写到caffe的搭建,第一篇cpu only ,第二篇是在服务器上搭建的,其中第二篇因为硬件环境更佳我们的步骤稍显复杂.其实,第二篇也仅仅是caffe的初步搭建完成,还没有编译python接口,那么下面我们一起搞定吧! 首先请读者再回过头去看我的<Ubuntu16.04安装配置Caffe>( http://www.cnblogs.com/xuanxufeng/p/6150593.html  ) 在这篇博文的结尾,我们再增加

数据制作

1.数据准备,我们需要一个train和valid文件夹,一个train.txt和val.txt(图片文件夹的位置可以任意,但是这两个txt文件的位置在data/fingervein/目录下) train和valid文件夹自然就存放着待训练的图片,train.txt和val.txt的数据格式如下 FV_USM_beforeLMDB/train_example/1/1.jpg 0 FV_USM_beforeLMDB/train_example/1/2.jpg 0 FV_USM_beforeLMDB/

caffe数据层

在caffe网络中数据层通常是最底层,数据通过Data layer进入caffe网络.效率起见,数据一般从databases(LevelDB, LMDB)导入,也可直接从内存(memory)导入.如不看重效率,也可从HDF5或是常见的图片格式导入. 一些通常的输入预处理(mean subtraction, scaling , random cropping , mirroring)可在一些层的TransformationParameters中进行注明.当TransformationParamet

将普通的图像数据制作成类似于MNIST数据集的.gz文件(数据集制作)

做完MNIST数据集的训练之后,我们想把自己的数据也拿来做一下相关的训练,那么如果调用MNIST数据读取的接口就需要按照他的数据格式来存取数据,首先来看看这个接口(input_data.read_data_set())): #coding=utf-8 #input_data.py的详解 #学习读取数据文件的方法,以便读取自己需要的数据库文件(二进制文件) """Functions for downloading and reading MNIST data."&qu