Docker第五回(Docker存储卷)

一、Docker底层存储机制介绍

对于Docker来讲,它作为容器运行的底层引擎,在组织和运行其容器时,每个容器内运行一个程序及子程序,容器启动时依赖于底层可能不止一层的只读镜像联合挂载启动而成。它底层能够存储此类分层构建并联合挂载镜像的文件系统包含AUFS、Overlayfs2、devmapper文件系统。最后一定要在最上层构建一个可写层。对于此可写层来说,所有在容器中所执行的写操作(对数据的修改、对内容的修改),都是保存在最上层的可写层。对下层内容的增删改操作我们需要使用“写时复制”(COW)机制来实现

写时复制机制是;如果一个文件在最底层是存在的,在任意层中被标记为删除,那么用户最上层就看不到这个文件了。用户能看到的只能是没被标记为删除的或者被标记为删除而用户在最上层又自己创建了同名的文件。

对于这种方式来说,我们去访问一个文件(修改删除等一类的操作),在访问和使用时,效率会非常的低。尤其是那些对I/O要求较高的应用比如redis、mysql。如mysql本身就对I/O要求就较高,如果mysql运行又是将数据写在容器内的联合挂载的最上层的可写层文件系统上,那么在容器停止时,数据将被删除。而且在实现数据存取时其效率的低下也是必然的情形。要想绕过这种使用的限制,我们可以通过使用存储卷的机制来实现。

二、存储卷介绍

所谓存储卷可以简单想象成在特权级的名称空间(宿主机)当中找一个本地文件系统之上存在某一个目录,把这个目录直接与容器内部的文件系统之上的某一个目录建立绑定关系,随后,容器内的进程向这个目录中写数据时,是直接被写在宿主机的目录上的,这和使用mount --bind命令的功能非常相似,这样就使得我们容器内部进程在实现数据保存时,能绕过容器内部文件系统的限制,从而与宿主机的文件系统建立了关联关系。这使得我们可以在宿主机和容器内共享数据和内容。可以让我们的容器直接访问宿主机的内容。同样的,也可以让宿主机直接向容器供给内容。这就相当于说让两个本来是隔离的mount名称空间在某个子路径上建立一定程度的绑定关系,从而使得在两个容器之间的文件系统的某个子路径上不在是隔离的,而且能够实现共享的效果。这种关联关系能够让容器之间在跨文件系统共享数据时,变得容易了,而在宿主机上的这个目录(与容器内的文件系统建立绑定关系的)对于容器来说,就被称作volume(存储卷)。存储卷带来的好处是当容器关闭甚至是删除时。我们都不用 担心数据丢书了,只要不删除绑定的在宿主机上的目录(存储卷)就可以。随后再次重建这个容器时,我们能让它关联到同一个存储卷上,就可以使用相同的数据。因此就能够数据持久脱离容器的生命周期而持久。

docker默认的存储卷是在本地的宿主机的文件系统之上,如果容器要在多个docker host之间迁移(使用docker 集群),我们还可以添加共享存储,如NFS文件系统使得容器内的有状态应用可以将迁移变的容易

2.1、容器内的文件系统存在的问题

  • 关闭并重启容器,其数据不受影响,但删除容器,将同时删除容器数据
  • 存储于联合挂载文件系统中,不易于宿主机访问
  • 容器间数据共享不便

2.2、volume的好处

volume的初衷是独立于容器的生命周期实现数据持久化,因此删除容器时,不会删除其数据,也不会对未被引用的卷做垃圾回收工作。因此我们使用存储卷就是为了解决容器内的联合挂载文件系统所带来的问题。

2.3、volume的种类

Docker有两种类型的卷,每种类型都在容器中存在一个挂载点,但在宿主机上的位置有所不同

  • Bind mount volume:在宿主机和容器内的路径需要人工分别指定一个特定路径,两个已知路径建立绑定关系

    docker run --name web1 -it -v HOSTDIR:VOLUMEDIR nginx:latest

     

  • Docker managed volume:只需要在容器内指定容器内的挂载点是哪里,而被绑定的是宿主机上的哪个路径下的目录由Docker的daemon自行创建一个空目录或者使用一个已存在的目录与存储卷建立绑定关系。这种方式在第一次启动容器时非常方便,他会自动为容器在宿主机上的一个路径下创建volumen,但是在该容器删除且重新启动时,它有可能会重新生成一个新的volume。

    docker run --name web1 -it -v /data nginx:latest

三、Docker容器使用volume

3.1、docker managed volume

1、通过-v  /data指定了myweb容器的volume。

[[email protected] ~]# docker container run -d -v /data --rm --name myweb httpd:1.1
54b7acd21f2a8bafeaa9bf2653828a54be0c8190fb53216423e9aca6f1da6be4
[[email protected] ~]#
[[email protected] ~]# docker container exec -it myweb /bin/sh
sh-4.1# ls
bin  boot  data  dev  etc  home  lib  lib64  lost+found  media	mnt  opt  proc	root  sbin  selinux  srv  sys  tmp  usr  var
sh-4.1#

2、查看容器的详细信息

可以看到Mounts中volume的挂载点是/data,在宿主机上的位置等信息

[[email protected] ~]# docker container inspect myweb
[

        "Mounts": [
            {
                "Type": "volume",
                "Name": "0905db81948a0d09d2c1f811eb113a72356f7d73e6085e0b513e6fcabd26dc1b",
                "Source": "/var/lib/docker/volumes/0905db81948a0d09d2c1f811eb113a72356f7d73e6085e0b513e6fcabd26dc1b/_data",
                "Destination": "/data",
                "Driver": "local",
                "Mode": "",
                "RW": true,
                "Propagation": ""
            }
        ],
            "ArgsEscaped": true,
            "Image": "httpd:1.1",
            "Volumes": {
                "/data": {}
    }
]

3、在宿主机上向挂载点目录写入数据后在容器内验证

[[email protected] ~]# cd /var/lib/docker/volumes/0905db81948a0d09d2c1f811eb113a72356f7d73e6085e0b513e6fcabd26dc1b/_data
[[email protected] _data]# ls
index.html

[[email protected] ~]# docker container exec -it myweb /bin/sh
sh-4.1# ls /data/
index.html

[[email protected] _data]# echo "welcome to my container." >hello.html
[[email protected] _data]# ls
hello.html  index.html

[[email protected] ~]# docker container exec -it myweb /bin/sh
sh-4.1# ls /data/
hello.html  index.html
sh-4.1# cat /data/hello.html
welcome to my container.

4、在容器内删除volume中的文件

[[email protected] ~]# docker container exec -it myweb /bin/sh
sh-4.1# rm -f /data/hello.html
sh-4.1# ls /data/
index.html

[[email protected] _data]# ls
index.html

5、删除容器后重新启动验证文件是否存在

[[email protected] _data]# docker container ls -a
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS               NAMES
54b7acd21f2a        httpd:1.1           "/usr/sbin/apachectl??   23 minutes ago      Up 23 minutes       5000/tcp            myweb
[[email protected] _data]# docker container kill myweb
myweb
[[email protected] _data]# docker container rm myweb
Error: No such container: myweb
[[email protected] _data]# docker container ls -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
[[email protected] _data]# 

[[email protected] _data]# docker container run -it -v /data --name myweb2 httpd:1.1 /bin/sh
sh-4.1# ls /data/
index.html
sh-4.1# cat /data/index.html
<h1>Welcom To My Httpd</h1>

3.2、Bind mount volume

绑定卷的功能和docker managed volume的功能一样,只不过在启动容器时需要同时指定宿主机的路径和容器内的路径

[[email protected] myweb3]# docker container inspect myweb3
[

        "Mounts": [
            {
                "Type": "bind",
                "Source": "/data/volumes/myweb3",
                "Destination": "/data/httpd/index",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            }
        ],
    }
]
[[email protected] myweb3]# 

[[email protected] _data]# docker container run -d -v /data/volumes/myweb3/:/data/httpd/index/ --name myweb3  httpd:1.1
c5828deffb5b8413c80841b3f2e9675565f7f20125311778df5c3123d867f07f
[[email protected] _data]#
[[email protected] _data]# ll /data/volumes/myweb3/
total 0

sh-4.1# [[email protected] ~]# docker container exec -it myweb3 /bin/sh
sh-4.1# ls /data/httpd/index/
sh-4.1#

在宿主机的路径创建文件后验证容器内是否存在

[[email protected] myweb3]# echo 333 >hello.html
[[email protected] myweb3]# cat hello.html
333

sh-4.1# ls /data/httpd/index/
hello.html
sh-4.1# cat /data/httpd/index/hello.html
333

3.3、容器间的数据共享

通过将两个容器使用同一个宿主机的目录,可以实现容器间的数据共享

在启动一个容器叫myweb4

[[email protected] myweb3]# docker container run -d -v /data/volumes/myweb3/:/data/httpd/index/ --name myweb4  httpd:1.1
e9b6509c14436e8b23c45cadd447bab00f61f871525a07907563d09c807ef4e3

[[email protected] myweb3]# docker container exec -it myweb4 /bin/sh
sh-4.1# cd /data/httpd/index/
sh-4.1# cat hello.html
333

这种方式可以让多个容器间共享数据

3.4、通过复制其他容器的卷设置来启动新的容器,让多个容器间共享数据

[[email protected] myweb3]# docker container run -d  --name myweb5 --volumes-from myweb4 httpd:1.1
24b378251586371aade5232ba55ed16ba093ea5800c80562ae3863ab694f2116
[[email protected] myweb3]#
[[email protected] myweb3]#
[[email protected] myweb3]# docker container inspect -f {{.Mounts}} myweb5
[{bind  /data/volumes/myweb3 /data/httpd/index   true rprivate}]

通过复制其他容器的卷设置来启动新的容器,为我们省掉了每次启动新容器都需要指定很长的volume路径,我们也可以制作一个底层基础支撑容器叫basedcontainer,这个容器不需要运行,根据这个底层基础支撑容器,我们可以随意的组合一个架构,比如启动nginx、mysql、tomcat这三个容器,这三个容器都使用--network  container:basedcontainer 加入这个底层基础支撑容器的网络,并且使用--volumes-from来使用这个基础容器的卷设置。

原文地址:https://www.cnblogs.com/baomaggie/p/11622695.html

时间: 2024-11-07 11:59:50

Docker第五回(Docker存储卷)的相关文章

Docker 系列五(Docker Compose 项目).

一.概念 Docker Compose 是官方编排项目之一,负责快速的部署分布式应用.它允许用户通过一个单独的 docker-compose.yml 模板文件(YAML格式)来定义一种相关联的应用容器为一个项目. Docker  Compose 中有两个重要的概念: 服务 (service):一个应用的容器,实际上可以包括若干运行相同镜像的容器实例.项目 (project):由一组关联的应用容器组成的一个完整业务单元,在 docker-compose.yml 文件中定义. Docker Comp

Kubernetes之存储卷

存储卷概述 容器磁盘上的文件的生命周期是短暂的,这就使得在容器中运行重要应用时会出现一些问题.首先,当容器崩溃时,kubelet 会重启它,但是容器中的文件将丢失--容器以干净的状态(镜像最初的状态)重新启动.其次,在 Pod 中同时运行多个容器时,这些容器之间通常需要共享文件.Kubernetes 中的 Volume 抽象就很好的解决了这些问题.在原docker环境中也有存储卷的概念,但docker环境的存储卷调度在宿主机上的目录,当docker重新创建的时候存储卷还会挂载统一宿主机上,但我们

Docker存储卷

docker存储卷: docker容器卷的使用方式: 1 Docker 管理卷: docker run -it --name [名称] -v [docker内部的卷] [镜像名称] 具体使用: docker run -it --name testvolume -d -v /data/mydata 75835a67d134 查看存储卷映射的目录: 命令:docker inspect f878a628f152 "Mounts": [ { "Type": "vo

docker存储卷篇

在之前的文章中,我们说过,容器的服务如果需要提供给外部访问,需要把端口映射出来.docker的数据存储卷也是一样的道理,我们在使用docker的时候,有些应用是需要保存数据的,这些需要保存数据的应用就可以把docker容器内的数据目录映射到宿主机上,如果没有指定,写入的数据会存储在docker的联合挂在存储系统上(性能低下),如果指定了挂载的目录(这里是/data),则可以绕过docker的文件系统,直接写在宿主机(或其他文件系统,如:nfs)上,如下图:上面的/data目录也又两种形式,一种是

Docker 存储卷

为何需要存储卷 Docker镜像由多个只读层叠加而成,启动容器时,Docker会加载只读镜像层并在镜像栈顶部添加一个读写层.如果运行中的容器修改了现有的一个已经存在的文件,那该文件将会从读写层下面的只读层复制到读写层,该文件的只读版本仍然存在,只是已经被读写层中该文件的副本所隐藏,这个就是写时复制(COW)机制. 数据存储的问题 Docker 容器数据的存储,存在以下问题: 存储于联合文件系统中,不易于宿主机访问 容器间数据共享不便 删除容器其数据会丢失 关闭并重启容器,容器的数据不受影响.但删

docker 第五篇 存储

镜像概述复习 Docker镜像由多个只读层叠加而成,启动容器时,Docker会加载只读镜像层并在镜像栈顶部添加一个读写层 如果运行中的容器修改了现有的一个已经存在的文件,那改文件将会从读写层下面的只读层复制到读写层,改文件的只读版本仍然存在,只是已经被读写层中改文件的副本所隐藏,此即 “写时复制(COW)” 机制 因为直接写数据到容器里面有诸多限制,IO较差从而产生了存储卷. Volumes存储 docker存储卷默认使用容器所在的宿主机的目录 使用Volumes的目的:关闭并重启容器,其数据不

Docker系列-第五篇Docker容器数据卷

1.是什么 在生产环境中使用 Docker,往往需要对数据进行持久化,或者需要在多个容器之间进行数据共享,这必然涉及容器的数据管理操作 . 容器中的管理数据主要有两种方式 : 数据卷 ( Data Volumes ) : 容器内数据直接映射到本地主机环境: 数据卷容器( Data Volume Containers ) : 使用特定容器维护数据卷. 一句话:有点类似我们Redis里面的rdb和aof文件 将运用与运行的环境打包形成容器运行 ,运行可以伴随着容器,但是我们对数据的要求希望是持久化的

Docker之七---Docker存储卷与容器卷详解

1.存储卷介绍 1.1 背景 (1)docker 的 AFUS 分层文件系统 docker镜像由多个只读层叠加而成,启动容器时,docker会加载只读镜像层并在镜像栈顶部加一个读写层: 如果运行中的容器修改了现有的一个已经存在的文件,那该文件将会从读写层下面的只读层复制到读写层,该文件版本仍然存在,只是已经被读写层中该文件的副本所隐藏,此即“写时复制(COW)”机制. 描述:如果一个文件在最底层是可见的,如果在layer1上标记为删除,最高的层是用户看到的Layer2的层,在layer0上的文件

基于Gluster分布式实现docker存储卷

1.安装配置glusterfs基础配置:centos7 关闭firewalld/selinux配置/etc/hosts和hostname 1 [[email protected] ~]# cat /etc/hosts 2 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 3 ::1 localhost localhost.localdomain localhost6 localhost6.lo