caffe-win10-cifar10另

上一篇主要以bat形式实现了leveldb形式的cifar10,因为对于shell脚本不甚熟悉,所以这次专门利用.sh调用来实现lmdb形式的cifar10。

1.下载数据

同上一篇。

2.数据转换和生成均值文件。

这次将bin(二进制)形式的文件转换为lmdb文件。

参考了一篇博客,用到了examples/cifar10/路径下的create_cifar10.sh文件。回顾上一篇博客里的数据转换用到的是convert_cifar_data.exe可执行文件。那么可以推想一定是crear_cifar10.sh文件里面包含了convert_cifar_data.exe这一命令。那么核心数据转换工具到头来还是convert_cifar_data.exe。

参考博客给出的方法是:

sudo sh examples/cifar10/create_cifar10.sh

但是我在git中执行这条语句老是出错:提示找不到build/examples/cifar10/convert_cifar-data.bin文件。

按照错误原因,我利用cat命令打开create_cifar10.sh文件一探究竟:

对于sh文件里第二行注释里写道将数据转换为leveldb格式。。这。。不应该是lmdb格式吗,况且第7行写道DBTYPE=lmdb,即dbtype为lmdb格式。这并无大碍,再次声明我们的目标是lmdb。

看13行的路径起始为build,其最终文件是convert_cifar_data.bin。而我转换数据的caffe路径是E:\caffe-master\caffe-master\examples\cifar10\convert_cifar_data.exe和生成均值文件的caffe路径是E:\caffe-master\caffe-master\examples\cifar10\compute_image_mean.exe 。可见它俩一个路径。

所以这个create_cifar10.sh文件有两个步骤,先生成训练和测试样本的lmdb数据,再生成训练样本的均值文件。

所以红线标识的那两行路径都得修改,改为自己convert_cifar_data.exe、compute_image_mean.exe的路径,并且文件格式也要改为exe格式,我将其改为mycifar10-lmdb.sh:

仔细琢磨文件中:

#!/usr/bin/env sh
# This script converts the cifar data into lmdb format.
set -e

EXAMPLE=examples/cifar10   #用EXAMPLE指代路径examples/cifar10
DATA=data/cifar10  #意为DATA指代路径data/cifar10  
DBTYPE=lmdb  #将db类型指定为lmdb

echo "Creating $DBTYPE..."  #开始转换数据格式

./examples/cifar10/convert_cifar_data.exe $DATA $EXAMPLE $DBTYPE   #用exe文件将DATA即data/cifar10下的二进制bin数据读入,转换成leveldb数据到EXAMPLE即examples/cifar10路径下。

echo "Computing image mean..."  #开始求训练集的均值

./examples/cifar10/compute_image_mean.exe -backend=$DBTYPE \   # 利用exe文件 ,后端为lmdb
  $EXAMPLE/cifar10_train_$DBTYPE $EXAMPLE/mean.binaryproto-hahaha-forlmdb  #用EXAMPLE即examples/cifar10路径下(上一步刚生成)的cifar10_train_lmdb生成examples/cifar10路径下
                                                                           #的mean.binaryproto-hahaha-forlmdb均值文件。
echo "Done."

以上就是sh文件,理解起来也不难。注:mycifar10-lmdb.sh要在caffe根目录下运行,不然路径又会有问题。

运行mycifar10-lmdb.sh:

看看结果吧:

上图中生成了训练和测试集的lmdb格式和均值文件mean.binaryproto-hahaha-forlmdb(起这么个hahaha文件只是为了好区分。。)

上图中生成的leveldb格式和mean.binaryproto均值文件都是上一篇博客利用bat生成的,不管怎样bat和sh的核心都是调用exe文件。

				
时间: 2025-01-17 13:50:33

caffe-win10-cifar10另的相关文章

caffe中cifar10的full_train模型出现nan的解决办法

caffe在cifar10 的example上给出了两个模型,一个是quick模式,一个是full模式,训练full模式时会出现loss=nan的错误(当然不会报错,不过出现这个结果就是bug) 自己google了一下,在github上找到了原因跟解决方案,原来是作者把用在cuda-convnet的模型照搬过来了,在caffe上的模型应该去掉LRN层,所以解决的方法很简单:将网络结构中所有的归一化层全部去掉,并修改下一层的bottom参数,然后就不会出现loss=nan的错误了. 当然,如果自己

使用caffe的cifar10网络模型训练自己的图片数据

由于我涉及一个车牌识别系统的项目,计划使用深度学习库caffe对车牌字符进行识别.刚开始接触caffe,打算先将示例中的每个网络模型都拿出来用用,当然这样暴力的使用是不会有好结果的- -||| ,所以这里只是记录一下示例的网络模型使用的步骤,最终测试的准确率就暂且不论了! 一.图片数据库 来源 我使用的图像是在项目的字符分割模块中分割出来的字符图像,灰度化并归一化至32*64,字符图片样本示例如下: 建立自己的数据文件夹 在./caffe/data/目录下建立自己的数据文件夹mine,并且在mi

caffe实例二-cifar10上的实验

caffe安装之后可以跑的第二个实例是在cifar10数据集上,参见http://caffe.berkeleyvision.org/gathered/examples/cifar10.html 跟mnist的过程很类似: 1./data/cifar10/get_cifar10.sh 2./example/cifar10/create_cifar10.sh 注意这里生成的也是lmdb文件 3./example/cifar10/cifar10_quick_train.sh 这时候会发现存在问题:给的

caffe for windows 训练cifar10 及若干问题

声明:有部分内容转载至笑笑魔导师 1,准备cifar10数据库 cifar10数据库由60000张32*32 彩色图片 共10类 其中50000张训练 10000张测试 下载cifar10数据库:http://www.cs.toronto.edu/~kriz/cifar-10-binary.tar.gz 这是binary格式的,所以我们要把它转换成leveldb格式. 2,转换数据 在../caffe-windows/examples/cifar10文件夹中有一个 convert_cifar_d

在Caffe上运行Cifar10示例

准备数据集 在终端上运行以下指令: 1 cd caffe/data/cifar10 2 ./get_cifar10.sh 3 cd caffe/examples/cifar10 4 ./create_cifar10.sh 其中caffe是你的根目录. 此时会出现报错: 1 ./build/examples/cifar10/convert_cifar_data.bin: not found 但素! convert_cifar_data.bin 明明就在 build/examples/cifar10

caffe cifar10试跑问题总结

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px "Helvetica Neue"; color: #454545 } p.p2 { margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px "Helvetica Neue"; color: #454545; min-height: 14.0px } p.p3 { margin: 0.0px 0.0px 0.0px 0.0px;

学习笔记:Caffe上配置和运行Cifar10的示例

学习笔记:Caffe上配置和运行Cifar10的示例 CIFAR-10数据集含有6万个32*32的彩色图像,共分为10种类型,由 Alex Krizhevsky, Vinod Nair和 Geoffrey Hinton收集而来.包含50000张训练图片,10000张测试图片 http://www.cs.toronto.edu/~kriz/cifar.html 数据集的数据存在一个10000*3072 的 numpy数组中,单位是uint8s,3072是存储了一个32*32的彩色图像.(3072=

caffe在ubuntu16.04配置流程

先说废话:在导师办公室2天+自己在家一天终于完成了caffe的配置,(上一篇随笔说好每天更新blog没有做到但我真的有在忙= =)整个过程掉坑无数,还好lucky enough配置完毕,趁着在跑cifar-10的train_full的时间整理一下整个流程,等导师的titanx到了以后还要再配置一次. env:Alienware17-R3, Ubuntu16.04 64-bit, NVIDIA Geforce GTX 980m (导师科研经费买的titanx没到,我的外星人只好先充公了,哈哈) 配

Caffe入门随笔

Caffe入门随笔 分享一下自己入门机器学习的一些资料:(1)课程,最推荐Coursera上的Andrew NG的Machine Learning,最好注册课程,然后跟下来.其次是华盛顿大学的Machine Learning系列课程,一共有6门,包括毕业设计(2)书籍: 机器学习(周志华西瓜书).机器学习实战.统计学习方法(李航).集体智慧编程.数学之美(吴军)(3)微博@余凯_西二旗民工:@老师木:@梁斌penny:@张栋_机器学习:@邓侃:@大数据皮东:@djvu9:@陈天奇怪(4)知乎@贾

DeepLearning (五) 基于Keras的CNN 训练cifar-10 数据库

数据库介绍 开发工具 网络框架 训练结果 训练要点 激活函数 Dropout 的作用 训练代码 [原创]Liu_LongPo 转载请注明出处[CSDN]http://blog.csdn.net/llp1992 数据库介绍 Cifar-10是由Hinton的两个大弟子Alex Krizhevsky.Ilya Sutskever收集的一个用于普适物体识别的数据集. Cifar-10由60000张32*32的RGB彩色图片构成,共10个分类.50000张训练,10000张测试(交叉验证).这个数据集最