（转）原理到实现 | K8S 存储之 NFS

转：https://mp.weixin.qq.com/s/Mrr1Rnl_594Gyyn9fHekjw

1NFS介绍

NFS是Network File System的简写，即网络文件系统，NFS是FreeBSD支持的文件系统中的一种。NFS基于RPC(Remote Procedure Call)远程过程调用实现，其允许一个系统在网络上与它人共享目录和文件。通过使用NFS，用户和程序就可以像访问本地文件一样访问远端系统上的文件。NFS是一个非常稳定的，可移植的网络文件系统。具备可扩展和高性能等特性，达到了企业级应用质量标准。由于网络速度的增加和延迟的降低，NFS系统一直是通过网络提供文件系统服务的有竞争力的选择 。

1.1 NFS原理

NFS 使用RPC(Remote Procedure Call)的机制进行实现，RPC使得客户端可以调用服务端的函数。同时，由于有 VFS 的存在，客户端可以像使用其它普通文件系统一样使用 NFS 文件系统。经由操作系统的内核，将 NFS 文件系统的调用请求通过 TCP/IP 发送至服务端的 NFS 服务。NFS服务器执行相关的操作，并将操作结果返回给客户端。

NFS服务主要进程包括：

  • rpc.nfsd：最主要的NFS进程，管理客户端是否可登录
  • rpc.mountd：挂载和卸载NFS文件系统，包括权限管理
  • rpc.lockd：非必要，管理文件锁，避免同时写出错
  • rpc.statd：非必要，检查文件一致性，可修复文件

NFS的关键工具包括：

  • 主要配置文件：/etc/exports；
  • NFS文件系统维护命令：/usr/bin/exportfs；
  • 共享资源的日志文件： /var/lib/nfs/*tab；
  • 客户端查询共享资源命令： /usr/sbin/showmount；
  • 端口配置： /etc/sysconfig/nfs。

1.2 共享配置

在NFS服务器端的主要配置文件为/etc/exports时，通过此配置文件可以设置共享文件目录。每条配置记录由NFS共享目录、NFS客户端地址和参数这3部分组成，格式如下：

[NFS共享目录] [NFS客户端地址1(参数1,参数2,参数3……)] [客户端地址2(参数1,参数2,参数3……)]

  • NFS共享目录：服务器上共享出去的文件目录；
  • NFS客户端地址：允许其访问的NFS服务器的客户端地址，可以是客户端IP地址，也可以是一个网段(192.168.64.0/24)；
  • 访问参数：括号中逗号分隔项，主要是一些权限选项。

1）访问权限参数

2）用户映射参数 图表

3）其它配置参数 图表

2

NFS服务端配置

在nfs作为网络文件存储系统前，首先，需要安装nfs和rpcbind服务；接着，需要创建使用共享目录的用户；然后，需要对共享目录进行配置，这是其中相对重要和复杂的一个步骤；最后，需要启动rpcbind和nfs服务，以供应用使用。

2.1 安装nfs服务

1）通过yum目录安装nfs服务和rpcbind服务：

  1. $ yum -y install nfs-utils rpcbind

2）检查nfs服务是否正常安装

  1. $ rpcinfo -p localhost

2.2 创建用户

为NFS服务其添加用户，并创建共享目录，以及设置用户设置共享目录的访问权限：

  1. $ useradd  nfs
  2. $ mkdir -p /nfs-share
  3. $ chmod a+w /nfs-share

2.3 配置共享目录

在nfs服务器中为客户端配置共享目录：

  1. $ echo "/nfs-share 172.16.0.0(rw,async,no_root_squash)" >> /etc/exports

通过执行如下命令是配置生效：

  1. $exportfs -r

2.4 启动服务

1）由于必须先启动rpcbind服务，再启动nfs服务，这样才能让nfs服务在rpcbind服务上注册成功：

  1. $ systemctl start rpcbind

2）启动nfs服务：

  1. $ systemctl start nfs-server

3）设置rpcbind和nfs-server开机启动：

  1. $ systemctl enable rpcbind
  2. $ systemctl enable nfs-server

2.5 检查nfs服务是否正常启动

  1. $ showmount -e localhost
  2. $ mount -t nfs 127.0.0.1:/data /mnt

3

NFS作为Volume

nfs可以直接作为存储卷使用，下面是一个redis部署的YAML配置文件。在此示例中，redis在容器中的持久化数据保存在/data目录下；存储卷使用nfs，nfs的服务地址为：192.168.8.150，存储路径为：/k8s-nfs/redis/data。容器通过volumeMounts.name的值确定所使用的存储卷。

  1. apiVersion: apps/v1 # for versions before 1.9.0 use apps/v1beta2
  2. kind: Deployment
  3. metadata:
  4.  name: redis
  5. spec:
  6.  selector:
  7.    matchLabels:
  8.      app: redis
  9.  revisionHistoryLimit: 2
  10.  template:
  11.    metadata:
  12.      labels:
  13.        app: redis
  14.    spec:
  15.      containers:
  16.      # 应用的镜像
  17.      - image: redis
  18.        name: redis
  19.        imagePullPolicy: IfNotPresent
  20.        # 应用的内部端口
  21.        ports:
  22.        - containerPort: 6379
  23.          name: redis6379
  24.        env:
  25.        - name: ALLOW_EMPTY_PASSWORD
  26.          value: "yes"
  27.        - name: REDIS_PASSWORD
  28.          value: "redis"  
  29.        # 持久化挂接位置，在docker中
  30.        volumeMounts:
  31.        - name: redis-persistent-storage
  32.          mountPath: /data
  33.      volumes:
  34.      # 宿主机上的目录
  35.      - name: redis-persistent-storage
  36.        nfs:
  37.          path: /k8s-nfs/redis/data
  38.          server: 192.168.8.150

4

NFS作为PersistentVolum

在Kubernetes当前版本的中，可以创建类型为nfs的持久化存储卷，用于为PersistentVolumClaim提供存储卷。在下面的PersistenVolume YAML配置文件中，定义了一个名为nfs-pv的持久化存储卷，此存储卷提供了5G的存储空间，只能由一个PersistentVolumClaim进行可读可写操作。此持久化存储卷使用的nfs服务器地址为192.168.5.150，存储的路径为/tmp。

  1. apiVersion: v1
  2. kind: PersistentVolume
  3. metadata:
  4.  name: nfs-pv
  5. spec:
  6.  capacity:
  7.    storage: 5Gi
  8.  volumeMode: Filesystem
  9.  accessModes:
  10.  - ReadWriteOnce
  11.  persistentVolumeReclaimPolicy: Recycle
  12.  storageClassName: slow
  13.  mountOptions:
  14.  - hard
  15.  - nfsvers=4.1
  16.  # 此持久化存储卷使用nfs插件
  17.  nfs:
  18.    # nfs共享目录为/tmp
  19.    path: /tmp
  20.    # nfs服务器的地址
  21.    server: 192.168.5.150

通过执行如下的命令可以创建上述持久化存储卷：

  1. $ kubectl create -f {path}/nfs-pv.yaml

存储卷创建成功后将处于可用状态，等待PersistentVolumClaim使用。PersistentVolumClaim会通过访问模式和存储空间自动选择合适存储卷，并与其进行绑定。

5

NFS作为动态存储提供

5.1 部署nfs-provisioner

为nfs-provisioner实例选择存储状态和数据的存储卷，并将存储卷挂接到容器的/export 命令。

  1. ...
  2. volumeMounts:
  3.    - name: export-volume
  4.      mountPath: /export
  5. volumes:
  6.  - name: export-volume
  7.    hostPath:
  8.      path: /tmp/nfs-provisioner
  9. ...

为StorageClass选择一个供应者名称，并在deploy/kubernetes/deployment.yaml进行设置。

  1. args:
  2.  - "-provisioner=example.com/nfs"
  3. ...

完整的deployment.yaml文件内容如下：

  1. kind: Service
  2. apiVersion: v1
  3. metadata:
  4.  name: nfs-provisioner
  5.  labels:
  6.    app: nfs-provisioner
  7. spec:
  8.  ports:
  9.    - name: nfs
  10.      port: 2049
  11.    - name: mountd
  12.      port: 20048
  13.    - name: rpcbind
  14.      port: 111
  15.    - name: rpcbind-udp
  16.      port: 111
  17.      protocol: UDP
  18.  selector:
  19.    app: nfs-provisioner
  20. ---
  21. apiVersion: extensions/v1beta1
  22. kind: Deployment
  23. metadata:
  24.  name: nfs-provisioner
  25. spec:
  26.  replicas: 1
  27.  strategy:
  28.    type: Recreate
  29.  template:
  30.    metadata:
  31.      labels:
  32.        app: nfs-provisioner
  33.    spec:
  34.      containers:
  35.        - name: nfs-provisioner
  36.          image: quay.io/kubernetes_incubator/nfs-provisioner:v1.0.8
  37.          ports:
  38.            - name: nfs
  39.              containerPort: 2049
  40.            - name: mountd
  41.              containerPort: 20048
  42.            - name: rpcbind
  43.              containerPort: 111
  44.            - name: rpcbind-udp
  45.              containerPort: 111
  46.              protocol: UDP
  47.          securityContext:
  48.            capabilities:
  49.              add:
  50.                - DAC_READ_SEARCH
  51.                - SYS_RESOURCE
  52.          args:
  53.            # 定义提供者的名称，存储类通过此名称指定提供者
  54.            - "-provisioner=nfs-provisioner"
  55.          env:
  56.            - name: POD_IP
  57.              valueFrom:
  58.                fieldRef:
  59.                  fieldPath: status.podIP
  60.            - name: SERVICE_NAME
  61.              value: nfs-provisioner
  62.            - name: POD_NAMESPACE
  63.              valueFrom:
  64.                fieldRef:
  65.                  fieldPath: metadata.namespace
  66.          imagePullPolicy: "IfNotPresent"
  67.          volumeMounts:
  68.            - name: export-volume
  69.              mountPath: /export
  70.      volumes:
  71.        - name: export-volume
  72.          hostPath:
  73.            path: /srv

在设置好deploy/kubernetes/deployment.yaml文件后，通过kubectl create命令在Kubernetes集群中部署nfs-provisioner。

  1. $ kubectl create -f {path}/deployment.yaml

5.2 创建StorageClass

下面是example-nfs的StorageClass配置文件，此配置文件定义了一个名称为nfs-storageclass的存储类，此存储类的提供者为nfs-provisioner。

  1. apiVersion: storage.k8s.io/v1
  2. kind: StorageClass
  3. metadata:
  4.  name: nfs-storageclass
  5.  provisioner: nfs-provisioner

通过kubectl create -f命令使用上面的配置文件创建：

  1. $ kubectl create -f deploy/kubernetes/class.yaml
  2. storageclass “example-nfs” created

在存储类被正确创建后，就可以创建PersistenetVolumeClaim来请求StorageClass，而StorageClass将会为PersistenetVolumeClaim自动创建一个可用PersistentVolume。

5.3 创建PersistenetVolumeClaim

PersistenetVolumeClaim是对PersistenetVolume的声明，即PersistenetVolume为存储的提供者，而PersistenetVolumeClaim为存储的消费者。下面是PersistentVolumeClaim的YAML配置文件，此配置文件通过metadata.annotations[].volume.beta.kubernetes.io/storage-class字段指定所使用的存储储类。

在此配置文件中，使用nfs-storageclass存储类为PersistenetVolumeClaim创建PersistenetVolume，所要求的PersistenetVolume存储空间大小为1Mi，可以被多个容器进行读取和写入操作。

  1. apiVersion: v1
  2. kind: PersistentVolumeClaim
  3. metadata:
  4.  name: nfs-pvc
  5.  annotations:
  6.    volume.beta.kubernetes.io/storage-class: "nfs-storageclass"
  7. spec:
  8.  accessModes:
  9.  - ReadWriteMany
  10.  resources:
  11.    requests:
  12.      storage: 1Mi

通过kubectl create命令创建上述的持久化存储卷声明：

  1. $ kubectl create -f {path}/claim.yaml

5.4 创建使用PersistenVolumeClaim的部署

在这里定义名为busybox-deployment的部署YAML配置文件，使用的镜像为busybox。基于busybox镜像的容器需要对/mnt目录下的数据进行持久化，在YAML文件指定使用名称为nfs的PersistenVolumeClaim对容器的数据进行持久化。

  1. # This mounts the nfs volume claim into /mnt and continuously
  2. # overwrites /mnt/index.html with the time and hostname of the pod.
  3. apiVersion: v1
  4. kind: Deployment
  5. metadata:  
  6.  name: busybox-deployment
  7. spec:  
  8.  replicas: 2  
  9.  selector:    
  10.    name: busybox-deployment
  11.  template:    
  12.    metadata:      
  13.      labels:        
  14.        name: busybox-deployment    
  15.    spec:      
  16.      containers:      
  17.      - image: busybox        
  18.        command:          
  19.        - sh          
  20.        - -c          
  21.        - ‘while true; do date > /mnt/index.html; hostname >> /mnt/index.html; sleep $(($RANDOM % 5 + 5)); done‘        
  22.        imagePullPolicy: IfNotPresent        
  23.        name: busybox        
  24.        volumeMounts:          
  25.        # name must match the volume name below          
  26.        - name: nfs            
  27.          mountPath: "/mnt"    
  28.     #
  29.     volumes:      
  30.     - name: nfs        
  31.       persistentVolumeClaim:          
  32.         claimName: nfs-pvc

通过kubectl create创建busy-deployment部署：

  1. $ kubectl create -f {path}/nfs-busybox-deployment.yaml

原文地址：https://www.cnblogs.com/wangle1001986/p/9726890.html

时间： 2024-11-08 22:00:59

（转）原理到实现 | K8S 存储之 NFS的相关文章

k8s存储方式的介绍及应用

k8s存储: (持久化) docker容器是有生命周期的.volume 1,存储类(Storage class)是k8s资源类型的一种,它是有管理员为管理PV更加方便创建的一个逻辑组,可以按照存储系统的性能高低,或者综合服务质量,备份策略等分类.不过k8s本身不知道类别到底是什么,它这是作为一个描述. 2,存储类的好处之一就是支持PV的动态创建,当用户用到持久性存储时,不必再去提前创建PV,而是直接创建PVC就可以了,非常的方便. 3,存储类对象的名称很重要,并且出了名称之外,还有3个关键字段P

GigaOm市场报告全球第一的K8S存储平台Portworx发布Essentials免费版本

GigaOm市场报告全球第一的K8S存储平台Portworx发布Essentials免费版本!GigaOm最新发布了Kubernetes数据存储平台的市场报告:Portworx被评为全球第一的数据存储平台. 报告链接: https://ask.portworx.com/portworx-number-one-data-storage-platform-kubernetes-report/?utm_medium=website&utm_source=blog&utm_campaign=202

k8s存储数据持久化，emptyDir，hostPath，基于Nfs服务的PV，PVC

在docker和K8S中都存在容器是有生命周期的,因此数据卷可以实现数据持久化. 数据卷解决的主要问题: 1.数据持久性:当我们写入数据时,文件都是暂时性的存在,当容器崩溃后,host就会将这个容器杀死,然后重新从镜像创建容器,数据就会丢失. 2.数据共享:在同一个Pod中运行容器,会存在共享文件的需求. 数据卷的类型: 1.emptyDiremptyDir数据卷类似于docker数据持久化的docker manager volume,该数据卷初分配时,是一个空目录,同一个Pod中的容器可以对该

k8s存储(部署理论)

gitrepo 基于empty演变的一种存储方式,将存储挂载到pod时,写入的数据同步到远程的git仓库;需要注意的是,pod启动之后我们再修改gitrepo里存储的数据时,pod并不会动态加载这些. NFS共享存储 nfs存储服务器,各个节点挂载,局限性大,不完全的高可用方式 pvc和pv存储 pv和pvc是一一对应的关系,pv是集群级别的,不能属于某个namespace 最底层使用的是传统的存储来做,然后将这些存储和k8s中的pv进行关联(使用.yml资源清单进行定义) 然后我们创建depl

k8s存储卷

1.emptyDir存储卷 apiVersion: v1 kind: Pod metadata: name: cunchujuan spec: containers: - name: myapp #定义第一容器用于显示index.html文件内容 image: ikubernetes/myapp:v1 imagePullPolicy: IfNotPresent volumeMounts: #调用存储卷 - name: html #使用存储卷的名称要和下面定义的一样 mountPath: /usr

k8s存储卷mysql故障转移

yum install -y rpcbind nfs-utils创建共享目录mkdir /home/sharedir修改目录权限chmod 0755 -R sharedir修改NFS配置文件vi /etc/exports/home/sharedir 192.168.2.0(rw,no_root_squash,no_all_squash,sync) ----------------------------yum install -y nfs-utilsshowmount -e 192.168.2.

k8s实践17:kubernetes对接nfs存储实现pvc动态按需创建分配绑定pv

1.开始前的想法.前面测试pv&&pvc的部署和简单配置应用,实现pod应用数据存储到pvc并且和pod解耦的目的.前面操作是全手动操作,手动创建pv,手动创建pvc,如果集群pod少,这样操作可以.假如集群有1000个以上的pod,每个pod都需要使用pvc存储数据,如果只能手动去一个个创建pv,pvc,工作量不可想像.如果可以创建pod的时候,创建pod的用户定义pvc,然后集群能够根据用户的pvc需求创建pv,实现动态的pv&&pvc创建分配.kubernetes支持

NFS存储服务深度实践

第1章 NFS介绍 1.1 什么是NFS? NFS 是Network File System的缩写,中文意思是网络文件系统.它的主要功能是通过网络(一般是局域网)让不同的主机系统之间可以共享文件或目录.NFS客户端(一般为应用服务器,例如web)可以通过挂载(mount)的方式将NFS服务器端共享的数据目录挂载到NFS客户端本地系统中(就是某一个挂载点下).从客户端本地看,NFS服务器端共享的目录就好像是客户端自己的磁盘分区或者目录一样,而实际上却是远端的NFS服务器的目录. NFS网络文件系统

NFS存储服务部署（上）

作者:George 归档:学习笔记 2018/1/24 NFS存储服务部署(上) 1.1 NFS服务介绍 1.1.1 什么是NFS? 1. NFS--Network File Systemt网络文件系统,叫称为网络共享文件系统 2. 作用:通过网络(一般为局域网)让不同主机系统之间可以共享文件 3. NFS服务和winodws系统的网络共享很相似,但NFS无法部署在windows上 4. windows与linux网络共享使用FTP.samba,它们都支持windows与linux之间共享 5.