Ubuntu14.04+caffe+CPU

刚刚在上篇博客记录了windows10下GPU版本caffe的安装,正准备跑跑论文里的代码,发现好多命令都是.sh命令,这是linux系统的脚本文件。不能直接在windows下运行,于是我想把.sh转换为windows下可执行的bat文件,但是又发现代码需要将数据转换为leveldb格式。而leveldb不能直接在windows下编译,还需配置,比较繁琐。而lmdb可以直接在windows下编译。下面是两者区别:

  • 它们都是键/值对(Key/Value Pair)嵌入式数据库管理系统编程库。
  • 虽然lmdb的内存消耗是leveldb的1.1倍,但是lmdb的速度比leveldb快10%至15%,更重要的是lmdb允许多种训练模型同时读取同一组数据集。
  • 因此lmdb取代了leveldb成为Caffe默认的数据集生成格式

说了这么多,就是windows确实不方便,于是想搞一波linux。但是不太熟悉,所以没有搞双系统,先在虚拟机上练练手,尽管虚拟机不能用GPU。

我的配置:VMware-workstation-full-12.00(12貌似更契合win10)、ubuntu-14.04-desktop-amd64(14LTS版本和16LTS版本相对稳定,amd64即64位版本)

虚拟机和ubuntu安装比较简单,基本是傻瓜式安装。

安装python接口的caffe:(无GPU)、无cuda(自然更没有cudnn),无opencv(暂不需要)

1.安装必要的环境

sudo apt-get update   #更新软件列表
sudo apt-get upgrade #更新软件
sudo apt-get install build-essentia #安装build essentialsl
sudo apt-get install linux-headers-‘uname -r‘ #安装最新版本的kernel headers

2.安装所需要的依赖包

sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev  sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev  sudo apt-get install libatlas-base-dev 

3.安装必要的库

sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
sudo apt-get install libatlas-base-dev  

4.下载caffe并配置python

网上的大部分方法是:

cd ~
git clone https://github.com/BVLC/caffe.git #克隆caffe到本地,并命名为caffe
cd caffe
cat python/requirements.txt | xargs -L 1 sudo pip install  安装caffe/python/requirements.txt里面所有要求的库

我就被坑在这里了,上面的命令用到了pip。所以先装pip,即执行sudo apt-get install python-pip

但是装好pip后,上面安装requirements.txt里的库时,速度很慢,基本都是timeout的错误,网上好多修改配置的教程,但我没有设置成功。。

所以我采取下面的方法,即把requirements.txt里的库拿出来,挨个下载:

sudo apt-get install python-numpy python-scipy python-matplotlib python-sklearn python-skimage python-h5py python-protobuf python-leveldb python-networkx python-nose python-pandas python-gflags Cython ipython  

上面就算caffe/python所有所需要的库。装好后没有报错即可,可以测试下:终端输入python,然后任意输入import scipy或import Cython都无错。

5.配置并编译caffe

修改Makefile.config.example

cd caffecp Makefile.config.example Makefile.config

上面命令意思:将caffe文件夹里的Makefile.config.example 复制为Makefile.config

然后进入Makefile.config文件夹,改些东西:

#去掉CPU_ONLY:=1的注释
#在PYTHON_INCLUDE下把
#  /usr/lib/python2.7/dist-packages/numpy/core/include
#改为
#  /usr/local/lib/python2.7/dist-packages/numpy/core/include

下面开始编译caffe:

进入caffe文件夹根目录下,eg:~/caffe$ ,进行如下操作:

make all

make pycaffe

make distribute

make test

这个运行比较久。

6.修改环境路径

将PYTHONPATH写入.bashrc中:

echo ‘export PYTHONPATH =$PYTHONPATH:/home/‘username‘/caffe/python‘>>~/.bashrc
source ~/.bashrc‘

根据每个人不同的路径加以修改,例如我的是 ‘export PYTHONPATH=$PYTHONPATH:/home/lps/caffe/python‘

7.测试

运行MNIST:

1)按照官网先准备数据集:

cd ~/caffe #将终端定位到Caffe根目录
./data/mnist/get_mnist.sh #下载MNIST数据库并解压缩
./examples/mnist/create_mnist.sh #将其转换成Lmdb数据库格式

2)编辑lenet_solver的solver_mode模式从GPU改为CPU:

vim ./examples/mnist/lenet_solver.prototxt
#改为solver_mode: CPU

3)训练模型

cd $CAFFE_ROOT
./examples/mnist/train_lenet.sh

4)训练结果

时间: 2024-10-13 14:25:18

Ubuntu14.04+caffe+CPU的相关文章

Ubuntu14.04+caffe+cuda7.5 环境搭建以及MNIST数据集的训练与测试

Ubuntu14.04+caffe+cuda 环境搭建以及MNIST数据集的训练与测试 一.ubuntu14.04的安装: ubuntu的安装是一件十分简单的事情,这里给出一个参考教程: http://jingyan.baidu.com/article/76a7e409bea83efc3b6e1507.html 二.cuda的安装: 1.首先下载nvidia cuda的仓库安装包(我的是ubuntu 14.04 64位,所以下载的是ubuntu14.04的安装包,如果你是32位的可以参看具体的地

faster-rcnn(testing): ubuntu14.04+caffe+cuda7.5+cudnn5.1.3+opencv3.0+matlabR2014a环境搭建记录

python版本的faster-rcnn见我的另一篇博客: py-faster-rcnn(running the demo): ubuntu14.04+caffe+cuda7.5+cudnn5.1.3+python2.7环境搭建记录 1. 首先需要配置编译caffe的环境,并降级gcc为4.7.见: ubuntu14.04下安装cudnn5.1.3,opencv3.0,编译caffe及matlab和python接口过程记录(不好意思,这也是我自己写的) 2. clone 源码: git clon

ubuntu14.04 caffe环境配置

第一次接触linux,caffe环境配置了好几天. 一.安装ubuntu14.04与windows 7双系统 二.验证系统,下载驱动,安装前的准备.参考链接中的123 三.安装显卡驱动: 输入下列命令添加驱动源 sudo add-apt-repository ppa:xorg-edgers/ppa sudo apt-get update 安装340版驱动 (CUDA 6.5.14目前最高仅支持340版驱动, 343, 346版驱动暂不支持) sudo apt-get install nvidia

安装配置ubuntu14.04+caffe

了解caffe安装,记录安装过程.参考资料: 1.caffe官网 http://caffe.berkeleyvision.org/ 2.caffe的Git教程 https://github.com/BVLC/caffe 3. denny学习笔记 http://www.cnblogs.com/denny402/p/5067265.html 4. caffe环境搭建 http://blog.csdn.net/hjimce/article/details/48781693 5. http://blog

ubuntu14.04 caffe+cuda-7.0配置

首先安装cuda: 从nvidia官网上下载:cuda-repo-ubuntu1404-7-0-local_7.0-28_amd64.deb,这里有run和deb两种,严重推荐deb格式,安装方便 cd到cuda-repo-ubuntu1404-7-0-local_7.0-28_amd64.deb所在目录,比如我的: cd ~/software/cuda-repo-ubuntu1404-7-0-local_7.0-28_amd64.deb 执行: sudo dpkg -i cuda-repo-u

Caffe初学者第一部:Ubuntu14.04上安装caffe(CPU)+Python的详细过程 (亲测成功, 20180524更新)

前言: 最近在学习深度学习,最先要解决的当然是开源框架的环境安装了.之前一直在学习谷歌的Tensorflow开源框架,最近实验中需要跟别人的算法比较,下载的别人的代码很多都是Caffe的,所以想着搭建好Caffe环境跑别人的代码.这中间经历过很多弯路,开始是入了Ubuntu16.04的坑,很多教程都说GCC版本不匹配,需要降级,我也尝试过发现很多坑:另外,就是安装matlab版本的Caffe以及安装GPU版本的Caffe,都经历了很多的波折,这前后摸索大概花了半个月左右.最后发现Ubuntu14

Deep Learning 学习总结(一)—— Caffe Ubuntu14.04 CUDA 6.5 配置

Caffe (Convolution Architecture For Feature Extraction)作为深度学习CNN一个非常火的框架,对于初学者来说,搭建Linux下的Caffe平台是学习深度学习关键的一步,其过程也比较繁琐,回想起当初折腾的那几天,遂总结一下Ubuntu14.04的配置过程,方便以后新手能在此少走弯路. 1. 安装build-essentials 安装开发所需要的一些基本包 sudo apt-get install build-essential 2. 安装NVID

Caffe搭建:Ubuntu14.04 + CUDA7.5 + opencv3.1+python3.5

从Hinton在science上发表深度学习训练开创新的文章以来,深度学习火了整整有3年多,而且随着新的硬件和算法的提出,深度学习正在应用于越来越多的领域,发挥其算法的优势. 实验室并没有赶上第一波深度学习热,但是让人高兴的是最近终于配了一台超级电脑,虽说和谷歌.百度几百个上千个GPU跑算法的设备不能比,但是好歹终于有了搭建自己的深度学习平台,想想还很是兴奋.最近这几天忙着搭建深度学习平台,把现在最火的Caffe框架代码跑通,从最初对ubuntu的菜鸟到现在顺利搭建起深度学习平台,中间走了很多弯

Caffe系统搭建 —— Ubuntu14.04 + CUDA7.0 + opencv3.0

从Hinton在science上发表深度学习训练开创新的文章以来,深度学习火了整整有3年多,而且随着新的硬件和算法的提出,深度学习正在应用于越来越多的领域,发挥其算法的优势. 实验室并没有赶上第一波深度学习热,但是让人高兴的是最近终于配了一台超级电脑,虽说和谷歌.百度几百个上千个GPU跑算法的设备不能比,但是好歹终于有了搭建自己的深度学习平台,想想还很是兴奋.最近这几天忙着搭建深度学习平台,把现在最火的Caffe框架代码跑通,从最初对ubuntu的菜鸟到现在顺利搭建起深度学习平台,中间走了很多弯