将自己数据转化为cifar10支持的lmdb

大家都知道,在caffe里面,要运行cifar10的例子就得先由cifar10的数据库。由于caffe为了提高运行效率,减少磁盘寻道时间等,统一了数据接口(lmdb,leveldb)。

首先,看一下cafferoot/data/cifar10(cafferoot指的是自己caffe安装的根目录)下面的get_cifar10.sh

可见其下载的是bin格式的图片,然后通过cafferoot/examples/cifar10/create_cifar10.sh将bin文件转化为lmdb格式。

那么这样的问题来了,由于,cifar10由官网提供了2进制的bin文件,如果我们想训练自己的模型呢?如果我们想加进自己的图片呢。所以,一个保持和官网cifar10同步的将传统的jpg、png等格式转为bin格式的程序应用而生。

进入正题

1,cifar10的bin数据格式

image 的大小为32*32,flag为0-9,共10类,使用的是cifar-10数据集

二进制数据格式为flag,R(1024),G(1024),B(1024),每个通道按行排列

2,读取cifar10的bin文件,将bin文件中数据转化为图片并显示

[cpp] view plain copy

  1. void read_cifar_bin(string file_address,vector<Mat>& image,vector<int>& flag)
  2. {
  3. int width = 32, height = 32;//注意这个数值,根据自己样本的大小进行修改,重要的事情说三遍
  4. ifstream fin(file_address, ios::binary);
  5. while (!fin.eof())
  6. {
  7. char flag_tmp;
  8. unsigned char tmp;
  9. Mat image_tmp(width, height, CV_8UC3);
  10. fin.read((char *)&flag_tmp, sizeof(flag_tmp));
  11. for (int j = 2; j >=0; j--)
  12. {
  13. for (int r = 0; r < image_tmp.rows; r++)
  14. for (int c = 0; c < image_tmp.cols; c++)
  15. {
  16. fin.read((char *)&tmp, sizeof(tmp));
  17. image_tmp.at<Vec3b>(r, c)[j] = tmp;
  18. }
  19. }
  20. image.push_back(image_tmp);
  21. flag.push_back(flag_tmp);
  22. }
  23. }

3,将自己的jpg,png等传统格式转化为cifar10支持的bin文件

[cpp] view plain copy

  1. void write_cifar_bin(string file_address, vector<string>& image_address, vector<int>& flag)
  2. {
  3. ofstream fout(file_address, ios::binary);
  4. for (size_t i = 0; i < image_address.size(); i++)
  5. {
  6. Mat image_tmp = imread(image_address[i], 1);
  7. resize(image_tmp, image_tmp, Size(32, 32));
  8. int pix[1024];
  9. char flag_tmp = flag[i];
  10. fout.write((char *)&flag_tmp, sizeof(flag_tmp));
  11. for (int j = 2; j >= 0; j--)
  12. {
  13. for (int r = 0; r < image_tmp.rows; r++)
  14. for (int c = 0; c < image_tmp.cols; c++)
  15. {
  16. unsigned char tmp = image_tmp.at<Vec3b>(r, c)[j];
  17. fout.write((char *)&tmp, sizeof(tmp));
  18. }
  19. }
  20. }
  21. }

4,将bin转为图片的测试,并用OpenCV显示

[cpp] view plain copy

  1. int main()
  2. {
  3. string file_address = "data_batch_1.bin";
  4. vector<Mat> image;
  5. vector<int>flag;
  6. read_cifar_bin(file_address, image, flag);
  7. imshow("test", image[5000]);//随便需要显示的图像。可以跟改[]中数据进行验证
  8. waitKey();
  9. return 0;
  10. }

5,将bin转为图片的测试,并保存为jpg,并且保存相应的flag

[cpp] view plain copy

  1. int main()
  2. {
  3. string file_address = "data_batch_1.bin";
  4. vector<Mat> image;
  5. vector<int>flag;
  6. read_cifar_bin(file_address, image, flag);
  7. ofstream mydata_batch_1("mydata_batch_1.txt");
  8. for (int i = 0; i < image.size(); i++)
  9. {
  10. char buffer[50];
  11. char address[100] = ".\\data_batch_1\\";
  12. _itoa(i, buffer, 10);
  13. imwrite(strcat(address, strcat(buffer, ".jpg")), image[i]);
  14. mydata_batch_1 << address << buffer <<".jpg"<< " " << flag[i] << endl;
  15. cout << i << endl;
  16. waitKey(1);
  17. }
  18. return 0;
  19. }

6,将图像转为bin

[cpp] view plain copy

  1. int main()
  2. {
  3. string file_address = "mydata_batch_1.bin";
  4. vector<string> image_address;
  5. vector<int> flag;
  6. ifstream finSample("mydata_batch_1.txt");
  7. char buf[100], buftmp[50], flagtmp[10];
  8. while (!finSample.eof())
  9. {
  10. finSample.getline(buf, sizeof(buf));
  11. sscanf(buf, "%s %s", buftmp, flagtmp);
  12. int tmp=atoi(flagtmp);
  13. image_address.push_back(buftmp);
  14. flag.push_back(tmp);
  15. }
  16. write_cifar_bin(file_address, image_address, flag);
  17. return 0;
  18. }

7,实验测试

(1)【步骤4】将cifar10的data_batch_1.bin转化为图像的测试,从左到右依次为image[0],image[5000],image[9999](cifar10每个batch有10000个图像,所以是0-9999)

(2) 【步骤5】将cifar10的data_batch_1.bin转化为图像,并保存在jpg格式的测试。

(3)【步骤6】将第二步生成的jpg转化为bin文件, 程序运行后将生成mydata_batch_1.bin,可以看到和原始的data_batch_1.bin有着同样的大小。

那么到底这个和原始的一样不一样呢?我们还是使用步骤4的程序进行测试,同样的还是测试image[0],image[5000],image[9999],从下图可以看出和原始的bin的数据是一样的。

有了上面的2个转化程序,就可以转化自己的图像了,then let‘s make some noise!

时间: 2024-09-28 06:17:07

将自己数据转化为cifar10支持的lmdb的相关文章

在java中将各种类型数据转化为json和从json中取数据

首先,导入以下jar包 下面是各种类型转化为json和从json中取出数据的程序 package jsontest; import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; import net.sf.json.JSONArray; import net.sf.json.JSONObject; public class JsonMain { public

iOS开发之十六进制颜色数据转化为UIColor对象

1.若从服务器返回的颜色字符串数据为 hexColor:"09B57A" hexColor分为三部分:09.B5.7A 分别对应三色值 R.G.B 十六进制 十进制 00 0 01 1 ... ... 09 9 0A 10 0B 11 ... ... 0F 15 10 16 11 17 12 18 ... ... 1F 31 ...   FF 255         代码如下: 1 - (UIColor *)getColor:(NSString *)hexColor 2 { 3 uns

将DataTable数据转化为Model对象列表

最近做项目实现了自动将DataTable对象中的数据转化为制定Model类型对象列表的功能,这里做记录: 首先是定义转化类 : 1 using System; 2 using System.Collections.Generic; 3 using System.ComponentModel; 4 using System.Data; 5 using System.Linq; 6 using System.Reflection; 7 using System.Text; 8 using Syste

Windows Caffe(三) 图像数据转化为Caffe可以运行的数据

在运行Caffe自带的两个例子的时候,我们的数据都来自互联网,是直接下载的二进制文件. 但我们大多数情况下使用的是原始的图片数据(如.jpg .png等),接下来研究如何将原始的图片数据转化为caffe可以运行的数据. 1.准备图片数据 caffe安装完成之后,在example/images文件下会有四张.jpg图片,cat.jpg, cat gray,jpg, cat_gray.jpg, fish-back.jpg 2.生成图片清单 我们写需要一个sh脚本,调用Linux命令生成图片的清单.W

Caffe2——cifar10数据集创建lmdb或leveldb类型的数据

Caffe2——cifar10数据集创建lmdb或leveldb类型的数据 cifar10数据集和mnist数据集存储方式不同,cifar10数据集把标签和图像数据以bin文件的方式存放在同一个文件内,这种存放方式使得每个子cifar数据bin文件的结构相同,所以cifar转换数据代码比mnist的代码更加的模块化,分为源数据读取模块(image_read函数),把lmdb(leveldb)数据转换的变量声明,句柄(函数)调用都放到定义的caffe::db子空间中,这样简化了代码,而且使得代码更

C# Json数据反序列化为Dictionary并根据关键字获取指定值1

Json数据: { "dataSet": { "header": { "returnCode": "0", "errorInfo": "HTTP请求错误", "version": "V1.0R010", "totalRows": "2000", "returnRows": "20

java 使用xom对象数据序列化为xml、反序列化、Preferences相关操作小案例

package org.rui.io.xml; import java.io.BufferedOutputStream; import java.io.FileOutputStream; import java.io.OutputStream; import java.io.UnsupportedEncodingException; import java.util.Arrays; import java.util.List; import nu.xom.Document; import nu.

C# Json数据反序列化为Dictionary并根据关键字获取指定值

Json数据: { "dataSet": { "header": { "returnCode": "0", "errorInfo": "HTTP请求错误", "version": "V1.0R010", "totalRows": "2000", "returnRows": "20

将图片数据转化为TFRecord格式与读取

将图片数据转化为TFRecord格式与读取 一.问题情景描述 目录下有一个叫做"Original"的文件夹,文件夹里有十个子文件,分别命名为1,2···一直到10(为了做10轮取平均),这10个子文件夹里还有四个子文件夹,分别命名为"train0","train1","test0","test1".其中含义如其命名所示.这四个子文件夹里一共有若干张JPG格式图像数据.现欲将这份图像数据转化为TFRecord