在Windows上玩TensorFlow(一)——安装Docker【转】

“谷歌”+“深度学习”，两个标签让2015年12月才由谷歌开源的深度学习工具TensorFlow在其发布之后就迅速地成为了全球最为炙手可热的开源项目，2016年4月，开源的TensorFlow又支持了分布式特性，向着生产环境下的应用更进一步。

TensorFlow API支持Python 2.7和Python 3.3+，共支持4种安装方式。

  • Pip install
  • Virtualenv install
  • Anaconda install
  • Docker install

其中大部分支持Linux和Mac OS，由于主要开发环境是Windows，我选择了最为灵活的docker方式安装TensorFlow。TensorFlow还有GPU支持版本，本文仅探索CPU-Only版本。

我计划完成一系列3篇博文，第一步安装docker，第二步单机版TensorFlow的Demo，第三步分布式TensorFlow的Demo，争取在1个月内完成。

1 Docker是什么？

借用Docker官网最大的一行字。

Docker allows you to package an application with all of its dependencies into a standardized unit for software development.

从功能上讲，Docker也可以理解为一种虚拟化的方案，可以通过构建包含不同软件的镜像，来达到快速部署开发环境的目的。

再借用官网的一张图，左边蓝色的部分从kernel开始一层层加了debian, emacs, apache形成了一个Image，每一层都是只读的，我们运行这个Image的时候，上面盖上了一层可读写的Container，让我们做一些编辑和修改，一个简单的服务器就可以用了；又如右边橘红色的部分，Kernel的上面加上了BusyBox就形成了Image，运行起来之后就可以以非常轻量级的方式运行起busybox中支持的命令。再有我们接下来要学习的TensorFlow镜像，就包含了运行它所需要的全部依赖，简单操作就可以完成TensorFlow开发环境的搭建。

更多的Docker理解推荐阅读10张图带你深入理解Docker容器和镜像

2 安装Docker

要在Windows上运行Docker，首先需要下载和安装Docker Toolbox。顺便奉上Docker Windows文档，更喜欢官方文档的话可以看这里，也可以按照本文的步骤继续。

2.1 确认系统版本

首先确认自己的系统是WIN 7或更新的64位系统，且需要支持硬件虚拟化技术。

Win 8及以上查看方法：

Win 7查看方法

Win 7 运行Microsoft? Hardware-Assisted Virtualization Detection Tool这一工具执行检查。

完成之后就可以继续下一步了。

2.2 安装Docker Toolbox

点击Docker Toolbox下载，在本文写作时的最新版本为1.11.1,。

安装过程会安装Docker的各个组件和Oracle
VirtualBox，因为Docker需要依赖Linux内核的一些特性，因此Mac和Windows都需要在机器上运行一个小型的Linux系统作为Host系统。如果已经安装过VirtualBox的最新版本，则无需重新安装。

自行选择安装路径，如果已经安装过Git也可以去掉该工具的勾选，VirtualBox也是一样，其它可一路Next。

2.3 配置Docker

安装完成后，建议先配置一个环境变量MACHINE_STORAGE_PATH，来自定义虚拟机保存的位置，因为之后下载的镜像越来越多，都是放在虚拟机的虚拟磁盘文件中，虚拟磁盘文件会越来越大，放在默认的C盘用户目录下可能会在以后造成一些麻烦，参考下图，设置为任意你喜欢的位置。

设置完成之后，WIN+R键输入cmd，打开一个windows命令行窗口。

输入下面的命令新建一个虚拟机ron-docker，使用virtualbox作为driver，这个虚拟机会自动创建在你的MACHINE_STORAGE_PATH配置的目录中，安装过程会从github上拉取boot2docker.iso，可能会比较慢，可以手动下载，也可以直接将toolbox安装目录下的boot2docker.iso复制到%MACHINE_STORAGE_PATH%/cache中。

docker-machine create ron-docker -d virtualbox

 

还要注意过程中可能会出现一些要求Windows执行权限的窗口，有些会最小化在任务栏上，请一一赋予权限。

建立完成之后键入docker-machine ls查看刚刚新建的虚拟机，下面的命令都会以ron-docker为例，读者请按照自己的配置修改。

C:\Users\ron>docker-machine ls
NAME         ACTIVE   DRIVER       STATE     URL                         SWARM   DOCKER    ERRORS
ron-docker   -        virtualbox   Running   tcp://192.168.99.100:2376           v1.11.1

这时候我们使用的CMD还不能与Docker Engine建立连接，可以通过docker-machine env mydocker查看如何设置。

C:\Users\ron>docker-machine env ron-docker
SET DOCKER_TLS_VERIFY=1
SET DOCKER_HOST=tcp://192.168.99.100:2376
SET DOCKER_CERT_PATH=E:\VirtualBox VM\machines\ron-docker
SET DOCKER_MACHINE_NAME=ron-docker
REM Run this command to configure your shell:
REM     @FOR /f "tokens=*" %i IN (‘docker-machine env ron-docker‘) DO @%i

键入下面的命令完成环境变量配置

FOR /F "tokens=*" %i IN (‘docker-machine env ron-docker‘) DO %i

3 运行镜像

下面我们下载最新的TensorFlow镜像来体验一下在docker下运行镜像。

3.1 下载镜像

docker pull gcr.io/tensorflow/tensorflow

docker images
REPOSITORY                     TAG                 IMAGE ID            CREATED             SIZE
gcr.io/tensorflow/tensorflow   latest              aeff5a9860a3        2 weeks ago         714.2 MB
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

当然有可能有网络问题，请根据自己的具体状况自行解决，挂代理，VPN，手动下载都可以。

3.2 启动镜像和探索

使用下面的命令启动镜像。

docker run -it gcr.io/tensorflow/tensorflow bash
  • 1

选项-i用于保持STDIN在当前的窗口上，-t用于分配一个pesudo-tty，两个选项使得当前的窗口可以像一个linux的bash一样运行，丝毫没有违和感。第一个参数指定了使用的镜像，第二个参数指定了启动这个镜像后启用的命令，用bash启动方便我们开始第一次的探索。

  • uname -a，查看信息
  • cd到/目录下，查看目录结构
  • 运行tensorflow的hello world
[email protected]:/# uname -a
Linux ec9bfd276082 4.4.8-boot2docker #1 SMP Mon Apr 25 21:57:27 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
[email protected]:/# ls /
bin   dev  home  lib64  mnt        opt   root  run_jupyter.sh  srv  tmp  var
boot  etc  lib   media  notebooks  proc  run   sbin            sys  usr
[email protected]:/# python
Python 2.7.6 (default, Jun 22 2015, 17:58:13)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import tensorflow as tf
>>> hello = tf.constant(‘Hello, TensorFlow!‘)
>>> sess =tf.Session()
>>> sess.run(hello)
‘Hello, TensorFlow!‘
>>> a = tf.constant(10)
>>> b = tf.constant(32)
>>> sess.run(a+b)
42
>>>

注意到/目录下的run_jupyter.sh，这事实上是当前版本tensorflow启动的默认命令，也就是说，如果我们在启动镜像时没有指定bash，就会默认运行这个脚本，这与一些稍早一些版本的tensorflow不同，许多教程中也还没有提到，可能会造成困惑，读者可以尝试一下docker run -it gcr.io/tensorflow/tensorflow，它会启动一个notebook的服务，运行在本地的8888端口上，但这样就想从windows的浏览器上打开notebook是不行的，这与docker本身的机制和运行在虚拟上两个原因有关，如果读者现在就想看到notebook，点击这里立即带你去到完成更多必要配置的端口转发部分。

4 配置自己的快速启动窗口

回顾一下上面的过程，要将一个Windows的CMD窗口变为一个运行特定容器的窗口，需要3步。

  1. 启动虚拟机
  2. 配置虚拟机对应的环境变量
  3. 运行镜像

下面我自己用的一个启动脚本，需要的话仅需修改相应的machine-name，然后将脚本保存为my-start.bat，放在toolbox安装目录下。之后右键my-start.bat->发送到桌面快捷方式，按代码下的图配置该快捷方式，/K参数可以使bat运行完之后不自动关闭。这样，需要时双击运行就可以获得一个新的可运行镜像的CMD窗口。

@ECHO off

SET machine-name=ron-docker

ECHO Init...

FOR /F %%i IN (‘docker-machine status %machine-name%‘) DO SET status=%%i

IF %status%==Running (
  ECHO %machine-name% is running.
) ELSE (
  ECHO %machine-name% is shutdown.
  docker-machine start %machine-name%
)

ECHO Configuring Environment...
FOR /F "tokens=*" %%i IN (‘docker-machine env %machine-name%‘) DO %%i

ECHO Init Finished.

5 完成更多必要配置

上面我们完成了镜像从下载到启动的过程，但在将docker用作开发环境之前，还有一些很有必要的配置工作要做，让我们一起来完成下面3步。

5.1 端口转发

我们的容器运行在一个小的linux虚拟机上，而虚拟机又运行在Windows系统的VirtualBox上，自然的，运行在容器上的服务不能再Windows上打开浏览器直接访问。端口转发就是要解决这个问题，共有两步：

建立Windows和虚拟机之间的端口转发

可以通过VirtualBox的管理界面完成，如图，然后重启虚拟机。

配置虚拟机和容器之间的端口转发

使用-p选项

docker run -it -p 8888:8888 gcr.io/tensorflow/tensorflow

键入上面这条命令之后打开浏览器，访问localhost:8888，看到运行在容器中的notebook服务了吧

5.2 磁盘映射

磁盘映射是非常有用的一步配置，可以将Windows上的磁盘直接映射到容器中，这样在Windows上开发代码，直接在容器中运行，避免了写完复制的大麻烦。磁盘映射的处理方法与端口转发类似，磁盘的映射关系需要完成Windwos到虚拟机，虚拟机到容器的两步配置，请跟随下面3个步骤：

建立Windows和虚拟机之间的磁盘映射

打开虚拟机的设置页面后，在共享文件夹中设置你想要共享的文件夹和它的名称，如图，重启虚拟机。

在虚拟机中挂载磁盘

这一步要用到刚才设置的名称，我这里就是docker。

mkdir -p /home/docker/data
mount -t vboxsf -o uid=1000,gid=50 docker /home/docker/data

到这里，我们在Windows中所做的修改就可以实时地反映到虚拟机中了。

建立虚拟机和容器之间的磁盘映射

使用-v选项，建立两个目录的映射关系

docker run -it -v /home/docker/data:/data gcr.io/tensorflow/tensorflow bash

好了，试试在Windows的共享文件夹中添加一个python的hello world，然后在docker中python /data/hello.py试试吧

5.3 配置启动脚本

我们上面用docker-machine创建的虚拟机，它的大部分目录在重启之后都会复原，除了/mnt/sda1，这个目录也就是虚拟机的虚拟磁盘文件disk.vmdk所挂载的位置，我们可以修改里面的/mnt/sda1/var/lib/boot2docker/profile文件，在文件最后添加我们自定义的启动命令，比如说添加前面的磁盘映射，就是在profile文件最后加上下面这两句。

mkdir -p /home/docker/data
mount -t vboxsf -o uid=1000,gid=50 docker /home/docker/data

这样每次虚拟机启动就会完成磁盘的挂载了。

6 结语

到这里，使用tensorflow之前安装docker的工作我尽己所能最详细地描述了，读者您如果能看到这里，我真的感到非常荣幸，第一次写这么长的教程，希望能带来一些帮助，最后，感谢下面参考资料的贡献者们，请期待tensorflow三部曲第二篇吧~

7 参考资料

  1. 利用Docker构建开发环境：http://tech.uc.cn/?p=2726
  2. 10张图带你深入理解Docker容器和镜像：http://dockone.io/article/783
  3. How to install and run TensorFlow on a Windows PC: http://www.netinstructions.com/how-to-install-and-run-tensorflow-on-a-windows-pc/
  4. Install Docker for Windows: https://docs.docker.com/windows/
  5. 5 Useful Docker Tips and Tricks on Windows：http://blog.pavelsklenar.com/5-useful-docker-tip-and-tricks-on-windows/
时间： 2024-10-06 00:40:41

在Windows上玩TensorFlow(一)——安装Docker【转】的相关文章

Windows上python开发--2安装django框架

上一篇文章中讲了如何在windows上安装和开发python.这篇文章需要在上一篇的基数上进行.首先确保你的windows上python可以正常运行. 在安装django之前,我们应该先安装一个esay_install 的python工具,通过该工具可以很轻松安装各种扩展的框架和package. 不用你先到第三方网站下载tar.gz 包,然后用python setup.py install 安装. 1.下载安装easy-install 的tools. easy-install 的官方地址: ht

在Windows上弄一个redis的docker容器

Docker核心概念简介 镜像是一个面向docker引擎的只读模板,包含了文件系统. 镜像是创建容器的基础,容器类似于一个沙箱,用来运行和隔离应用. 容器是从镜像创建的应用运行实例,可以启动.开始.停止.删除,容器之间是相互隔离的. Windows上安装docker 下载最新的docker-installer.exe:https://github.com/boot2docker/windows-installer/releases/latest 安装过程中所有选项全选,安装后会自动重启机器. 重

Windows和Mac系统下安装Docker

在windows和mac系统中使用Docker Desktop安装Docker对系统的要求是很高的. 对于 Windows 系统来说,安装 Docker for Windows 需要符合以下条件: 必须使用 Windows 10 Pro ( 专业版 ) 必须使用 64 bit 版本的 Windows 对于 macOS 系统来说,安装 Docker for Mac 需要符合以下条件: Mac 硬件必须为 2010 年以后的型号 必须使用 macOS El Capitan 10.11 及以后的版本

Qt在Windows上的调试器安装与配置

如果安装Qt时使用的是Visual Studio的预编译版,那么很有可能就会缺少调试器(Debugger),而使用MSVC的Qt对应的原生调试器是CDB(对应MinGW的Qt使用GDB调试器).本文介绍如何下载安装CDB,并在Qt Creator配置之. 示例环境:Windows 7 64bit + Visual Studio 2013 + Qt 5.5.0 选择合适的Windows Driver Kit(WDK) CDB已经不再作为独立软件包,而是WDK中的一部分.虽然WDK是对应不同的Win

Qt Creator在Windows上的调试器安装与配置

如果安装Qt时使用的是Visual Studio的预编译版,那么很有可能就会缺少调试器(Debugger),而使用MSVC的Qt对应的原生调试器是CDB(对应MinGW的Qt使用GDB调试器).本文介绍如何下载安装CDB,并在Qt Creator配置之. 示例环境:Windows 8 x86 + Visual Studio 2012 + Qt 5.2.0 选择合适的Windows Driver Kit(WDK) CDB已经不再作为独立软件包,而是WDK中的一部分.虽然WDK是对应不同的Windo

Windows上PostGIS(压缩版)安装

PostGIS安装 1．软件下载 postgresql-9.6.1-1-windows-x64-binaries.zip https://www.postgresql.org/download/windows/ postgis-bundle-pg96-2.3.1x64.zip http://download.osgeo.org/postgis/windows/pg96/ 2. 将postgresql.zip解压 解压postgresql-9.6.1-1-windows-x64-binaries.

windows上python的下载安装以及环境变量的设置

python的下载 python官网地址:https://www.python.org/ python的版本 Python2和python3建议都安装,以便学习 安装时最好安装到磁盘的根目录,方便以后操作 python环境变量的配置 向path环境变量里添加python和python下script的路径 原文地址:https://www.cnblogs.com/wbyixx/p/9339273.html

大数据高性能数据库Redis在Windows上的配置

Redis学习笔记----Redis在windows上的安装和配置 Redis简介 redis是一个key-value存储系统.和Memcached类似,它支持存储的value类型相对更多,包括string(字符串).list(链表).set(集合).zset(sorted set --有序集合)和hash(哈希类型).这些数据类型都支持push/pop.add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的.在此基础上,redis支持各种不同方式的排序.与memcach

在Windows上搭建React Native Android开发环境

安卓环境配置 安装JDK 安装完成后,使用命令行检查版本 java -version 安装Android Studio 以及SDK 下载AS和SDK,建议使用http://www.androiddevtools.cn/,这里整理得比较清晰,SDK下载可能要使用国内镜像,具体使用上面的网址有介绍. 这里需要注意设置环境变量ANDROID_HOME 1. 打开控制面板,选择系统和安全->系统->高级系统设置->高级->环境变量->新建,变量名填写ANDROID_HOME,变量值填