一.系统环境

服务器版本	docker软件版本	Kubernetes(k8s)集群版本	CPU架构
CentOS Linux release 7.4.1708 (Core)	Docker version 20.10.12	v1.21.9	x86_64

Kubernetes集群架构：k8scloude1作为master节点，k8scloude2，k8scloude3作为worker节点

服务器	操作系统版本	CPU架构	进程	功能描述
k8scloude1/192.168.110.130	CentOS Linux release 7.4.1708 (Core)	x86_64	docker，kube-apiserver，etcd，kube-scheduler，kube-controller-manager，kubelet，kube-proxy，coredns，calico	k8s master节点
k8scloude2/192.168.110.129	CentOS Linux release 7.4.1708 (Core)	x86_64	docker，kubelet，kube-proxy，calico	k8s worker节点
k8scloude3/192.168.110.128	CentOS Linux release 7.4.1708 (Core)	x86_64	docker，kubelet，kube-proxy，calico	k8s worker节点

二.前言

Kubernetes(k8s)数据卷volumes类型众多，本文介绍数据卷volumes之一持久卷Persistent Volume。

使用数据卷volumes的前提是已经有一套可以正常运行的Kubernetes集群，关于Kubernetes(k8s)集群的安装部署，可以查看博客《Centos7 安装部署Kubernetes(k8s)集群》https://www.cnblogs.com/renshengdezheli/p/16686769.html

三.持久卷（Persistent Volume）

3.1 持久卷（Persistent Volume）概览

存储的管理是一个与计算实例的管理完全不同的问题。 PersistentVolume 子系统为用户和管理员提供了一组 API，将存储如何制备的细节从其如何被使用中抽象出来。为了实现这点，我们引入了两个新的 API 资源：PersistentVolume 和 PersistentVolumeClaim。

持久卷（PersistentVolume，PV） 是集群中的一块存储，可以由管理员事先制备，或者使用存储类（Storage Class）来动态制备。持久卷是集群资源，就像节点也是集群资源一样。PV 持久卷和普通的 Volume 一样，也是使用卷插件来实现的，只是它们拥有独立于任何使用 PV 的 Pod 的生命周期。此 API 对象中记述了存储的实现细节，无论其背后是 NFS、iSCSI 还是特定于云平台的存储系统。

持久卷申领（PersistentVolumeClaim，PVC） 表达的是用户对存储的请求。概念上与 Pod 类似。 Pod 会耗用节点资源，而 PVC 申领会耗用 PV 资源。Pod 可以请求特定数量的资源（CPU 和内存）；同样 PVC 申领也可以请求特定的大小和访问模式（例如，可以要求 PV 卷能够以 ReadWriteOnce、ReadOnlyMany 或 ReadWriteMany 模式之一来挂载）。

尽管 PersistentVolumeClaim 允许用户消耗抽象的存储资源，常见的情况是针对不同的问题用户需要的是具有不同属性（如，性能）的 PersistentVolume 卷。集群管理员需要能够提供不同性质的 PersistentVolume，并且这些 PV 卷之间的差别不仅限于卷大小和访问模式，同时又不能将卷是如何实现的这些细节暴露给用户。为了满足这类需求，就有了存储类（StorageClass） 资源。

3.2 持久卷和持久卷申领的生命周期

PV 卷是集群中的资源。PVC 申领是对这些资源的请求，也被用来执行对资源的申领检查。 PV 卷和 PVC 申领之间的互动遵循如下生命周期：

PV 卷的创建有两种方式：

静态制备：集群管理员创建若干 PV 卷。这些卷对象带有真实存储的细节信息，并且对集群用户可用。PV 卷对象存在于 Kubernetes API 中，可供用户消费（使用）。
动态制备：如果管理员所创建的所有静态 PV 卷都无法与用户的 PersistentVolumeClaim 匹配，集群可以尝试为该 PVC 申领动态制备一个存储卷。这一制备操作是基于 StorageClass 来实现的：PVC 申领必须请求某个存储类，同时集群管理员必须已经创建并配置了该类，这样动态制备卷的动作才会发生。如果 PVC 申领指定存储类为 ""，则相当于为自身禁止使用动态制备的卷。

为了基于存储类完成动态的存储制备，集群管理员需要在 API 服务器上启用 DefaultStorageClass 准入控制器。举例而言，可以通过保证 DefaultStorageClass 出现在 API 服务器组件的 --enable-admission-plugins 标志值中实现这点；该标志的值可以是逗号分隔的有序列表。

用户创建一个带有特定存储容量和特定访问模式需求的 PersistentVolumeClaim 对象；在动态制备场景下，这个 PVC 对象可能已经创建完毕。主控节点中的控制回路监测新的 PVC 对象，寻找与之匹配的 PV 卷（如果可能的话），并将二者绑定到一起。如果为了新的 PVC 申领动态制备了 PV 卷，则控制回路总是将该 PV 卷绑定到这一 PVC 申领。否则，用户总是能够获得他们所请求的资源，只是所获得的 PV 卷可能会超出所请求的配置。一旦绑定关系建立，则 PersistentVolumeClaim 绑定就是排他性的，无论该 PVC 申领是如何与 PV 卷建立的绑定关系。 PVC 申领与 PV 卷之间的绑定是一种一对一的映射，实现上使用 ClaimRef 来记述 PV 卷与 PVC 申领间的双向绑定关系。

如果找不到匹配的 PV 卷，PVC 申领会无限期地处于未绑定状态。当与之匹配的 PV 卷可用时，PVC 申领会被绑定。例如，即使某集群上制备了很多 50 Gi 大小的 PV 卷，也无法与请求 100 Gi 大小的存储的 PVC 匹配。当新的 100 Gi PV 卷被加入到集群时，该 PVC 才有可能被绑定。

Pod 将 PVC 申领当做存储卷来使用。集群会检视 PVC 申领，找到所绑定的卷，并为 Pod 挂载该卷。对于支持多种访问模式的卷，用户要在 Pod 中以卷的形式使用申领时指定期望的访问模式。

一旦用户有了申领对象并且该申领已经被绑定，则所绑定的 PV 卷在用户仍然需要它期间一直属于该用户。用户通过在 Pod 的 volumes 块中包含 persistentVolumeClaim 节区来调度 Pod，访问所申领的 PV 卷。

保护使用中的存储对象（Storage Object in Use Protection）这一功能特性的目的是确保仍被 Pod 使用的 PersistentVolumeClaim（PVC）对象及其所绑定的 PersistentVolume（PV）对象在系统中不会被删除，因为这样做可能会引起数据丢失。

说明：当使用某 PVC 的 Pod 对象仍然存在时，认为该 PVC 仍被此 Pod 使用。

如果用户删除被某 Pod 使用的 PVC 对象，该 PVC 申领不会被立即移除。 PVC 对象的移除会被推迟，直至其不再被任何 Pod 使用。此外，如果管理员删除已绑定到某 PVC 申领的 PV 卷，该 PV 卷也不会被立即移除。 PV 对象的移除也要推迟到该 PV 不再绑定到 PVC。

你可以看到当 PVC 的状态为 Terminating 且其 Finalizers 列表中包含 kubernetes.io/pvc-protection 时，PVC 对象是处于被保护状态的。

3.3 持久卷的类型

PV 持久卷是用插件的形式来实现的。Kubernetes 目前支持以下插件：

cephfs - CephFS volume

csi - 容器存储接口 (CSI)

fc - Fibre Channel (FC) 存储

hostPath - HostPath 卷（仅供单节点测试使用；不适用于多节点集群；请尝试使用 local 卷作为替代）

iscsi - iSCSI (SCSI over IP) 存储

local - 节点上挂载的本地存储设备

nfs - 网络文件系统 (NFS) 存储

rbd - Rados 块设备 (RBD) 卷

3.4 持久卷的回收策略persistentVolumeReclaimPolicy

当用户不再使用其存储卷时，他们可以从 API 中将 PVC 对象删除，从而允许该资源被回收再利用。PersistentVolume 对象的回收策略告诉集群，当其被从申领中释放时如何处理该数据卷。目前，数据卷可以被 Retained（保留）、Recycled（回收）或 Deleted（删除）。

保留（Retain）：回收策略 Retain 使得用户可以手动回收资源。当 PersistentVolumeClaim 对象被删除时，PersistentVolume 卷仍然存在，对应的数据卷被视为"已释放（released）"。由于卷上仍然存在这前一申领人的数据，该卷还不能用于其他申领。管理员可以通过下面的步骤来手动回收该卷：

删除 PersistentVolume 对象。与之相关的、位于外部基础设施中的存储资产（例如 AWS EBS、GCE PD、Azure Disk 或 Cinder 卷）在 PV 删除之后仍然存在。根据情况，手动清除所关联的存储资产上的数据。手动删除所关联的存储资产。如果你希望重用该存储资产，可以基于存储资产的定义创建新的 PersistentVolume 卷对象。

删除（Delete）：对于支持 Delete 回收策略的卷插件，删除动作会将 PersistentVolume 对象从 Kubernetes 中移除，同时也会从外部基础设施（如 AWS EBS、GCE PD、Azure Disk 或 Cinder 卷）中移除所关联的存储资产。动态制备的卷会继承其 StorageClass 中设置的回收策略，该策略默认为 Delete。管理员需要根据用户的期望来配置 StorageClass；否则 PV 卷被创建之后必须要被编辑或者修补。参阅更改 PV 卷的回收策略。

回收（Recycle）：警告：回收策略 Recycle 已被废弃。取而代之的建议方案是使用动态制备。如果下层的卷插件支持，回收策略 Recycle 会在卷上执行一些基本的擦除（rm -rf /thevolume/*）操作，之后允许该卷用于新的 PVC 申领。

简言之：

Retain -- 手动回收
Recycle -- 基本擦除 (rm -rf /thevolume/*)
Delete -- 诸如 AWS EBS、GCE PD、Azure Disk 或 OpenStack Cinder 卷这类关联存储资产也被删除，目前，仅 NFS 和 HostPath 支持回收（Recycle）。 AWS EBS、GCE PD、Azure Disk 和 Cinder 卷都支持删除（Delete）。

3.5 卷模式volumeMode

针对 PV 持久卷，Kubernetes 支持两种卷模式（volumeModes）：Filesystem（文件系统）和 Block（块）。 volumeMode 是一个可选的 API 参数。如果该参数被省略，默认的卷模式是 Filesystem。

volumeMode 属性设置为 Filesystem 的卷会被 Pod 挂载（Mount）到某个目录。如果卷的存储来自某块设备而该设备目前为空，Kuberneretes 会在第一次挂载卷之前在设备上创建文件系统。

你可以将 volumeMode 设置为 Block，以便将卷作为原始块设备来使用。这类卷以块设备的方式交给 Pod 使用，其上没有任何文件系统。这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助， Pod 和卷之间不存在文件系统层。另外，Pod 中运行的应用必须知道如何处理原始块设备。

3.6 访问模式 accessModes

PersistentVolume 卷可以用资源提供者所支持的任何方式挂载到宿主系统上。如下表所示，提供者（驱动）的能力不同，每个 PV 卷的访问模式都会设置为对应卷所支持的模式值。例如，NFS 可以支持多个读写客户，但是某个特定的 NFS PV 卷可能在服务器上以只读的方式导出。每个 PV 卷都会获得自身的访问模式集合，描述的是特定 PV 卷的能力。

访问模式accessModes有：

ReadWriteOnce：卷可以被一个节点以读写方式挂载。 ReadWriteOnce 访问模式也允许运行在同一节点上的多个 Pod 访问卷。
ReadOnlyMany：卷可以被多个节点以只读方式挂载。
ReadWriteMany：卷可以被多个节点以读写方式挂载。
ReadWriteOncePod：卷可以被单个 Pod 以读写方式挂载。如果你想确保整个集群中只有一个 Pod 可以读取或写入该 PVC，请使用 ReadWriteOncePod 访问模式。这只支持 CSI 卷以及需要 Kubernetes 1.22 以上版本。

说明：Kubernetes 使用卷访问模式来匹配 PersistentVolumeClaim 和 PersistentVolume。在某些场合下，卷访问模式也会限制 PersistentVolume 可以挂载的位置。卷访问模式并不会在存储已经被挂载的情况下为其实施写保护。即使访问模式设置为 ReadWriteOnce、ReadOnlyMany 或 ReadWriteMany，它们也不会对卷形成限制。例如，即使某个卷创建时设置为 ReadOnlyMany，也无法保证该卷是只读的。如果访问模式设置为 ReadWriteOncePod，则卷会被限制起来并且只能挂载到一个 Pod 上。

重要提醒！ 每个卷同一时刻只能以一种访问模式挂载，即使该卷能够支持多种访问模式。例如，一个 GCEPersistentDisk 卷可以被某节点以 ReadWriteOnce 模式挂载，或者被多个节点以 ReadOnlyMany 模式挂载，但不可以同时以两种模式挂载。

在命令行接口（CLI）中，访问模式也使用以下缩写形式：

RWO - ReadWriteOnce
ROX - ReadOnlyMany
RWX - ReadWriteMany
RWOP - ReadWriteOncePod

3.7 存储类storageClass

每个 PV 可以属于某个类（Class），通过将其 storageClassName 属性设置为某个 StorageClass 的名称来指定。 特定类的 PV 卷只能绑定到请求该类存储卷的 PVC 申领。未设置 storageClassName 的 PV 卷没有类设定，只能绑定到那些没有指定特定存储类的 PVC 申领。

早前，Kubernetes 使用注解 volume.beta.kubernetes.io/storage-class 而不是 storageClassName 属性。这一注解目前仍然起作用，不过在将来的 Kubernetes 发布版本中该注解会被彻底废弃。

3.8 持久卷状态PersistentVolume status

持久卷状态PersistentVolume status如下：

[root@k8scloude1 volume]# kubectl get pv

NAME    CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS     CLAIM          STORAGECLASS   REASON   AGE

pv007   5Gi        RWO            Recycle          Released   volume/mypvc   secret                  75m

每个pv卷会处于以下状态之一：

Available（可用）-- 卷是一个空闲资源，尚未绑定到任何申领；
Bound（已绑定）-- 该卷已经绑定到某申领；
Released（已释放）-- 所绑定的申领已被删除，但是资源尚未被集群回收；
Failed（失败）-- 卷的自动回收操作失败。

命令行接口能够显示绑定到某 PV 卷的 PVC 对象（CLAIM字段）。

pv全局有效，不限于某个namespace。

四.持久卷申领PersistentVolumeClaim（PVC）

每个 PVC 对象都有 spec 和 status 部分，分别对应申领的规约和状态。 PersistentVolumeClaim 对象的名称必须是合法的 DNS 子域名。

访问模式：申领在请求具有特定访问模式的存储时，使用与卷相同的访问模式约定。

卷模式：申领使用与卷相同的约定来表明是将卷作为文件系统还是块设备来使用。

资源：申领和 Pod 一样，也可以请求特定数量的资源。在这个上下文中，请求的资源是存储。卷和申领都使用相同的资源模型。

选择算符：申领可以设置标签选择算符来进一步过滤卷集合。只有标签与选择算符相匹配的卷能够绑定到申领上。选择算符包含两个字段：

matchLabels - 卷必须包含带有此值的标签
matchExpressions - 通过设定键（key）、值列表和操作符（operator）来构造的需求。合法的操作符有 In、NotIn、Exists 和 DoesNotExist。

来自 matchLabels 和 matchExpressions 的所有需求都按逻辑与的方式组合在一起。这些需求都必须被满足才被视为匹配。

存储类storageClass：申领可以通过为 storageClassName 属性设置 StorageClass 的名称来请求特定的存储类。只有所请求的类的 PV 卷，即 storageClassName 值与 PVC 设置相同的 PV 卷，才能绑定到 PVC 申领。

PVC 申领不必一定要请求某个类。如果 PVC 的 storageClassName 属性值设置为 ""，则被视为要请求的是没有设置存储类的 PV 卷，因此这一 PVC 申领只能绑定到未设置存储类的 PV 卷（未设置注解或者注解值为 "" 的 PersistentVolume（PV）对象在系统中不会被删除，因为这样做可能会引起数据丢失。未设置 storageClassName 的 PVC 与此大不相同，也会被集群作不同处理。具体筛查方式取决于 DefaultStorageClass 准入控制器插件是否被启用。

如果准入控制器插件被启用，则管理员可以设置一个默认的 StorageClass。所有未设置 storageClassName 的 PVC 都只能绑定到隶属于默认存储类的 PV 卷。 设置默认 StorageClass 的工作是通过将对应 StorageClass 对象的注解 storageclass.kubernetes.io/is-default-class 赋值为 true 来完成的。如果管理员未设置默认存储类，集群对 PVC 创建的处理方式与未启用准入控制器插件时相同。如果设定的默认存储类不止一个，准入控制插件会禁止所有创建 PVC 操作。

如果准入控制器插件被关闭，则不存在默认 StorageClass 的说法。所有将 storageClassName 设为 "" 的 PVC 只能被绑定到也将 storageClassName 设为 "" 的 PV。不过，只要默认的 StorageClass 可用，就可以稍后更新缺少 storageClassName 的 PVC。如果这个 PVC 更新了，它将不再绑定到也将 storageClassName 设为 "" 的 PV。

取决于安装方法，默认的 StorageClass 可能在集群安装期间由插件管理器（Addon Manager）部署到集群中。

当某 PVC 除了请求 StorageClass 之外还设置了 selector，则这两种需求会按逻辑与关系处理：只有隶属于所请求类且带有所请求标签的 PV 才能绑定到 PVC。

说明：目前，设置了非空 selector 的 PVC 对象无法让集群为其动态制备 PV 卷。

早前，Kubernetes 使用注解 volume.beta.kubernetes.io/storage-class 而不是 storageClassName 属性。这一注解目前仍然起作用，不过在将来的 Kubernetes 发布版本中该注解会被彻底废弃。

PVC不是全局生效的，只在一个namespace里生效。

五.创建NFS持久卷

5.1 配置NFS服务端以及共享目录

在一台机器上安装NFS服务端，k8s的两个worker安装NFS客户端。

etcd1机器作为NFS的服务端，安装NFS。

[root@etcd1 ~]# yum -y install nfs-utils

[root@etcd1 ~]# rpm -qa | grep nfs

libnfsidmap-0.25-19.el7.x86_64

nfs-utils-1.3.0-0.68.el7.2.x86_64

启动NFS

#使nfs开机自启动并现在就启动

[root@etcd1 ~]# systemctl enable nfs-server --now

Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.

#查看nfs状态

[root@etcd1 ~]# systemctl status nfs-server

● nfs-server.service - NFS server and services

   Loaded: loaded (/usr/lib/systemd/system/nfs-server.service; enabled; vendor preset: disabled)

   Active: active (exited) since 二 2022-01-18 17:24:24 CST; 8s ago

  Process: 1469 ExecStartPost=/bin/sh -c if systemctl -q is-active gssproxy; then systemctl reload gssproxy ; fi (code=exited, status=0/SUCCESS)

  Process: 1453 ExecStart=/usr/sbin/rpc.nfsd $RPCNFSDARGS (code=exited, status=0/SUCCESS)

  Process: 1451 ExecStartPre=/usr/sbin/exportfs -r (code=exited, status=0/SUCCESS)

 Main PID: 1453 (code=exited, status=0/SUCCESS)

   CGroup: /system.slice/nfs-server.service

1月 18 17:24:24 etcd1 systemd[1]: Starting NFS server and services...

1月 18 17:24:24 etcd1 systemd[1]: Started NFS server and services.

先在NFS服务端创建/persitdir，并把目录/persitdir共享出去

#创建/persitdir作为共享目录

[root@etcd1 ~]# mkdir /persitdir

[root@etcd1 ~]# vim /etc/exports

#把/persitdir目录共享出去

[root@etcd1 ~]# cat /etc/exports

/persitdir *(rw,async,no_root_squash)

[root@etcd1 ~]# exportfs -arv

exporting *:/persitdir

创建文件

[root@etcd1 ~]# touch /persitdir/{xx,yy,zz,ww}.txt

[root@etcd1 ~]# ls /persitdir/

ww.txt  xx.txt  yy.txt  zz.txt

5.2 配置NFS客户端

在k8s集群的worker节点安装nfs的客户端

[root@k8scloude3 ~]# yum -y install nfs-utils

 #安装nfs的客户端

[root@k8scloude2 ~]# yum -y install nfs-utils

查看etcd1(192.168.110.133)机器共享出来的目录是哪个？

[root@k8scloude2 ~]# showmount -e 192.168.110.133

Export list for 192.168.110.133:

/persitdir *

5.3 创建持久卷

PersistentVolume 和 docker 中的 Volume 概念类似，都是代表机器上的一块存储，而PersistentVolume 也被称为集群共享资源，PersistentVolumeClaim 则是用户请对 pv 资源的请求。pv全局有效，不限于某个namespace。

查看持久化存储数据卷PV

[root@k8scloude1 volume]# kubectl get pv

No resources found

配置nfs类型的持久卷Persistent Volume，关于nfs数据卷请查看博客《Kubernetes(k8s)存储管理之数据卷volumes(三)：NFS数据卷》https://www.cnblogs.com/renshengdezheli/p/16971943.html

[root@k8scloude1 volume]# vim persistentv.yaml

[root@k8scloude1 volume]# cat persistentv.yaml

apiVersion: v1

kind: PersistentVolume

metadata:

  name: pv007

spec:

  #pv的大小

  capacity:

    storage: 5Gi

  #PV的卷模式

  volumeMode: Filesystem

  #PV的访问模式

  accessModes:

    - ReadWriteOnce

  #PV的回收策略

  persistentVolumeReclaimPolicy: Recycle

  #storageClassName: slow

  #PV的类型为nfs

  nfs:

    #nfs共享目录

    path: /persitdir

    #nfs服务器地址

    server: 192.168.110.133

创建持久卷Persistent Volume

[root@k8scloude1 volume]# kubectl apply -f persistentv.yaml

persistentvolume/pv007 created

查看持久卷Persistent Volume

[root@k8scloude1 volume]# kubectl get pv

NAME    CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE

pv007   5Gi        RWO            Recycle          Available                                   10s

pv全局有效，不限于某个namespace

[root@k8scloude1 volume]# kubectl get pv -n default

NAME    CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE

pv007   5Gi        RWO            Recycle          Available

                             95s

[root@k8scloude1 volume]# kubectl get pv -n ns1

NAME    CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE

pv007   5Gi        RWO            Recycle          Available                                   101s

5.4 创建持久卷申领PersistentVolumeClaim

PersistentVolumeClaim（简称PVC）是用户存储的请求，PVC消耗PV的资源，可以请求特定的大小和访问模式，需要指定归属于某个Namespace，在同一个Namespace的Pod才可以指定对应的PVC。当需要不同性质的PV来满足存储需求时，可以使用StorageClass来实现。

PVC不是全局生效的，只在一个namespace里生效。

查看持久化存储卷声明pvc

[root@k8scloude1 volume]# kubectl get pvc

No resources found in volume namespace.

配置pvc

[root@k8scloude1 volume]# vim pvc1.yaml

[root@k8scloude1 volume]# cat pvc1.yaml

apiVersion: v1

kind: PersistentVolumeClaim

metadata:

  name: mypvc

spec:

  #访问模式

  accessModes:

    - ReadWriteOnce

  #卷模式

  volumeMode: Filesystem

  #请求的存储大小

  resources:

    requests:

      storage: 3Gi

  #storageClassName: slow

创建pvc

[root@k8scloude1 volume]# kubectl apply -f pvc1.yaml

persistentvolumeclaim/mypvc created

注意：pvc和PV之间的关联主要靠参数：CAPACITY ，ACCESS MODES

[root@k8scloude1 volume]# kubectl get pvc

NAME    STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE

mypvc   Bound    pv007    5Gi        RWO                           11s

PVC不是全局生效的，只在一个namespace里生效。

[root@k8scloude1 volume]# kubectl get pvc -n default

No resources found in default namespace.

在default命名空间创建pvc

[root@k8scloude1 volume]# kubectl apply -f pvc1.yaml -n default

persistentvolumeclaim/mypvc created

因为此时pvc已经被volume的命名空间里的pv关联在一起，现在不能在default命名空间关联pv

[root@k8scloude1 volume]# kubectl get pvc -n default

NAME    STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE

mypvc   Pending                                                     3s

[root@k8scloude1 volume]# kubectl get pvc -n default

NAME    STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE

mypvc   Pending                                                     2m1s

[root@k8scloude1 volume]# kubectl delete -f pvc1.yaml -n default

persistentvolumeclaim "mypvc" deleted

[root@k8scloude1 volume]# kubectl get pvc -n default

No resources found in default namespace.

5.5 添加存储类storageClass

注意：pvc和PV之间的关联主要靠参数：1.CAPACITY:pvc里的要求容量要小于等于pv里的容量，2.ACCESS MODES：必须相同， 3.STORAGECLASS不一样的话，pv和PVC也关联不起来。

CLAIM:volume/mypvc 可以看到mypvc已经和pv007关联在一起了。

[root@k8scloude1 volume]# kubectl get pvc

NAME    STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE

mypvc   Bound    pv007    5Gi        RWO                           5m31s

[root@k8scloude1 volume]# kubectl get pv

NAME    CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM          STORAGECLASS   REASON   AGE

pv007   5Gi        RWO            Recycle          Bound    volume/mypvc                           16m

配置PersistentVolume

[root@k8scloude1 volume]# vim persistentv.yaml 

#设置storageClassName: secret

[root@k8scloude1 volume]# cat persistentv.yaml

apiVersion: v1

kind: PersistentVolume

metadata:

  name: pv007

spec:

  capacity:

    storage: 5Gi

  volumeMode: Filesystem

  accessModes:

    - ReadWriteOnce

  persistentVolumeReclaimPolicy: Recycle

  storageClassName: secret

  nfs:

    path: /persitdir

    server: 192.168.110.133

配置PersistentVolumeClaim

[root@k8scloude1 volume]# vim pvc1.yaml 

#设置storageClassName: secret

[root@k8scloude1 volume]# cat pvc1.yaml

apiVersion: v1

kind: PersistentVolumeClaim

metadata:

  name: mypvc

spec:

  accessModes:

    - ReadWriteOnce

  volumeMode: Filesystem

  resources:

    requests:

      storage: 3Gi

  storageClassName: secret

创建PV和PVC，可以看到STORAGECLASS是一样的

[root@k8scloude1 volume]# kubectl apply -f persistentv.yaml

persistentvolume/pv007 configured

[root@k8scloude1 volume]# kubectl apply -f pvc1.yaml

persistentvolumeclaim/mypvc created

[root@k8scloude1 volume]# kubectl get pv

NAME    CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS     CLAIM          STORAGECLASS   REASON   AGE

pv007   5Gi        RWO            Recycle          Released   volume/mypvc   secret                  75m

[root@k8scloude1 volume]# kubectl get pvc

NAME    STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE

mypvc   Pending                                      secret         16s

[root@k8scloude1 volume]# kubectl get pvc

NAME    STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE

mypvc   Bound    pv007    5Gi        RWO            secret         25s

可以查看PV的详细描述信息，比如NFS服务器地址和目录

[root@k8scloude1 volume]# kubectl describe pv pv007

Name:            pv007

Labels:          <none>

Annotations:     pv.kubernetes.io/bound-by-controller: yes

Finalizers:      [kubernetes.io/pv-protection]

StorageClass:    secret

Status:          Bound

Claim:           volume/mypvc

Reclaim Policy:  Recycle

Access Modes:    RWO

VolumeMode:      Filesystem

Capacity:        5Gi

Node Affinity:   <none>

Message:

Source:

    Type:      NFS (an NFS mount that lasts the lifetime of a pod)

    Server:    192.168.110.133

    Path:      /persitdir

    ReadOnly:  false

Events:

  Type    Reason          Age   From                         Message

  ----    ------          ----  ----                         -------

  Normal  RecyclerPod     91s   persistentvolume-controller  Recycler pod: Successfully assigned default/recycler-for-pv007 to k8scloude2

  Normal  RecyclerPod     89s   persistentvolume-controller  Recycler pod: Pulling image "busybox:1.27"

  Normal  RecyclerPod     71s   persistentvolume-controller  Recycler pod: Successfully pulled image "busybox:1.27" in 18.377762222s

  Normal  RecyclerPod     71s   persistentvolume-controller  Recycler pod: Created container pv-recycler

  Normal  RecyclerPod     71s   persistentvolume-controller  Recycler pod: Started container pv-recycler

  Normal  VolumeRecycled  70s   persistentvolume-controller  Volume recycled

删除pvc之后，pv的状态由Bound变为Available

[root@k8scloude1 volume]# kubectl delete -f pvc1.yaml

persistentvolumeclaim "mypvc" deleted

[root@k8scloude1 volume]# kubectl get pv

NAME    CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE

pv007   5Gi        RWO            Recycle          Available           secret                  80m

删除pvc之后，NFS服务端的 /persitdir/ 这个目录下文件没了，persistentVolumeReclaimPolicy: Recycle pv的回收策略：Recycle表示只要pvc被删除，对应的数据也会被删除

[root@etcd1 ~]# ls /persitdir/

5.6 修改persistentVolume的回收策略

在NFS服务端创建文件

[root@etcd1 ~]# touch /persitdir/{xx,yy,zz,ww}.txt

[root@etcd1 ~]# ls /persitdir/

ww.txt  xx.txt  yy.txt  zz.txt

配置PersistentVolume

[root@k8scloude1 volume]# vim persistentv.yaml 

#persistentVolumeReclaimPolicy: Retain  Retain表示pvc被删除之后，也要保留对应的数据

[root@k8scloude1 volume]# cat persistentv.yaml

apiVersion: v1

kind: PersistentVolume

metadata:

  name: pv007

spec:

  capacity:

    storage: 5Gi

  volumeMode: Filesystem

  accessModes:

    - ReadWriteOnce

  persistentVolumeReclaimPolicy: Retain

  storageClassName: secret

  nfs:

    path: /persitdir

    server: 192.168.110.133

创建pv，PVC

[root@k8scloude1 volume]# kubectl apply -f persistentv.yaml

persistentvolume/pv007 created

[root@k8scloude1 volume]# kubectl apply -f pvc1.yaml

persistentvolumeclaim/mypvc created

[root@k8scloude1 volume]# kubectl get pv

NAME    CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM          STORAGECLASS   REASON   AGE

pv007   5Gi        RWO            Retain           Bound    volume/mypvc   secret                  44s

[root@k8scloude1 volume]# kubectl get pvc

NAME    STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE

mypvc   Bound    pv007    5Gi        RWO            secret         8s

[root@k8scloude1 volume]# kubectl delete -f pvc1.yaml

persistentvolumeclaim "mypvc" deleted

[root@k8scloude1 volume]# kubectl get pvc

No resources found in volume namespace.

RECLAIM POLICY:Retain ，STATUS:Released，STATUS：Released 表示pv仍然保留为被关联状态，即使重新创建一个相同的pvc也只会处于Pending状态

[root@k8scloude1 volume]# kubectl get pv

NAME    CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS     CLAIM          STORAGECLASS   REASON   AGE

pv007   5Gi        RWO            Retain           Released   volume/mypvc   secret                  112s

在NFS服务端 /persitdir/ 数据依然存在

[root@etcd1 ~]# ls /persitdir/

ww.txt  xx.txt  yy.txt  zz.txt

创建PVC

[root@k8scloude1 volume]# kubectl apply -f pvc1.yaml

persistentvolumeclaim/mypvc created

#PV的STATUS：Released  表示pv仍然保留为被关联状态，即使重新创建一个相同的pvc也只会处于Pending状态

[root@k8scloude1 volume]# kubectl get pvc

NAME    STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE

mypvc   Pending                                      secret         13s

[root@k8scloude1 volume]# kubectl delete -f pvc1.yaml

persistentvolumeclaim "mypvc" deleted

[root@k8scloude1 volume]# kubectl get pvc

No resources found in volume namespace.

想正常使用PVC，只能删除pv，然后重新创建PVC

[root@k8scloude1 volume]# kubectl delete -f persistentv.yaml

persistentvolume "pv007" deleted

[root@k8scloude1 volume]# kubectl get pv

No resources found

pv被删除了，NFS服务端/persitdir/ 数据依然存在没有影响

[root@etcd1 ~]# ls /persitdir/

ww.txt  xx.txt  yy.txt  zz.txt

现在重新创建PV和PVC即可

[root@k8scloude1 volume]# kubectl apply -f persistentv.yaml

persistentvolume/pv007 created

[root@k8scloude1 volume]# kubectl apply -f pvc1.yaml

persistentvolumeclaim/mypvc created

[root@k8scloude1 volume]# kubectl get pv

NAME    CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM          STORAGECLASS   REASON   AGE

pv007   5Gi        RWO            Retain           Bound    volume/mypvc   secret                  10s

[root@k8scloude1 volume]# kubectl get pvc

NAME    STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE

mypvc   Bound    pv007    5Gi        RWO            secret         7s

六.创建有NFS持久卷的pod

那我们的pod怎么使用pvc呢？配置pod把PVC挂载到容器的/xx目录

[root@k8scloude1 volume]# vim pvcpod.yaml 

[root@k8scloude1 volume]# cat pvcpod.yaml

apiVersion: v1

kind: Pod

metadata:

  creationTimestamp: null

  labels:

    run: pvcshare

  name: pvcshare

spec:

  #nodeName指定pod运行在k8scloude3节点

  nodeName: k8scloude3

  terminationGracePeriodSeconds: 0

  volumes:

  - name: v1

    #卷类型为PVC

    persistentVolumeClaim:

      claimName: mypvc

  containers:

  - image: nginx

    imagePullPolicy: IfNotPresent

    name: h1

    resources: {}

    volumeMounts:

    - name: v1

      mountPath: /xx

  dnsPolicy: ClusterFirst

  restartPolicy: Always

status: {}

创建pod

[root@k8scloude1 volume]# kubectl apply -f pvcpod.yaml

pod/pvcshare created

[root@k8scloude1 volume]# kubectl get pod -o wide

NAME       READY   STATUS    RESTARTS   AGE   IP               NODE         NOMINATED NODE   READINESS GATES

pvcshare   1/1     Running   0          14s   10.244.251.255   k8scloude3   <none>           <none>

查看pod的详细描述信息

[root@k8scloude1 volume]# kubectl describe pod pvcshare | grep -A10 Volumes

Volumes:

  v1:

    Type:       PersistentVolumeClaim (a reference to a PersistentVolumeClaim in the same namespace)

    ClaimName:  mypvc

    ReadOnly:   false

  kube-api-access-4kd64:

    Type:                    Projected (a volume that contains injected data from multiple sources)

    TokenExpirationSeconds:  3607

    ConfigMapName:           kube-root-ca.crt

    ConfigMapOptional:       <nil>

    DownwardAPI:             true

查看PV的详细描述信息

[root@k8scloude1 volume]# kubectl describe pv pv007

Name:            pv007

Labels:          <none>

Annotations:     pv.kubernetes.io/bound-by-controller: yes

Finalizers:      [kubernetes.io/pv-protection]

StorageClass:    secret

Status:          Bound

Claim:           volume/mypvc

Reclaim Policy:  Retain

Access Modes:    RWO

VolumeMode:      Filesystem

Capacity:        5Gi

Node Affinity:   <none>

Message:

Source:

    Type:      NFS (an NFS mount that lasts the lifetime of a pod)

    Server:    192.168.110.133

    Path:      /persitdir

    ReadOnly:  false

Events:        <none>

进入pod

[root@k8scloude1 volume]# kubectl exec -it pvcshare -- bash

#pod里也有对应的文件

root@pvcshare:/# ls /xx/

ww.txt	xx.txt	yy.txt	zz.txt

root@pvcshare:/# exit

exit

删除pod，pvc，pv

[root@k8scloude1 volume]# kubectl delete pod pvcshare --force

warning: Immediate deletion does not wait for confirmation that the running resource has been terminated. The resource may continue to run on the cluster indefinitely.

pod "pvcshare" force deleted

[root@k8scloude1 volume]# kubectl delete pvc mypvc

persistentvolumeclaim "mypvc" deleted

[root@k8scloude1 volume]# kubectl delete pv pv007

persistentvolume "pv007" deleted

[root@k8scloude1 volume]# kubectl get pod

No resources found in volume namespace.

[root@k8scloude1 volume]# kubectl get pvc

No resources found in volume namespace.

[root@k8scloude1 volume]# kubectl get pv

No resources found

目前创建持久卷Persistent Volume使用的是静态制备（集群管理员创建若干 PV 卷。这些卷对象带有真实存储的细节信息，并且对集群用户可用。PV 卷对象存在于 Kubernetes API 中，可供用户消费使用），简言之就是需要先创建pv，然后才能创建PVC，我们可以使用存储类StorageClass实现动态制备，关于动态制备详细内容请查看博客《动态制备-存储类StorageClass》。

Kubernetes(k8s)存储管理之数据卷volumes(四)：持久卷Persistent Volume的更多相关文章

通过搭建MySQL掌握k8s（Kubernetes）重要概念（上）：网络与持久卷
上一篇"通过实例快速掌握k8s(Kubernetes)核心概念"讲解了k8s的核心概念,有了核心概念整个骨架就完整了,应付无状态程序已经够了,但还不够丰满.应用程序分成两种,无状态 ...
Kubernetes K8S之存储Volume详解
K8S之存储Volume概述与说明,并详解常用Volume示例主机配置规划服务器名称(hostname) 系统版本配置内网IP 外网IP(模拟) k8s-master CentOS7.7 2C ...
k8s volume存储卷（四）
介绍 volume存储卷是Pod中能够被多个容器访问的共享目录,kubernetes的volume概念,用途和目的与docker的volume比较类似,但两者不能等价,首先,kubernetes中的v ...
Kubernetes(k8s)集群部署（k8s企业级Docker容器集群管理）系列之部署master/node节点组件（四）
0.前言整体架构目录:ASP.NET Core分布式项目实战-目录 k8s架构目录:Kubernetes(k8s)集群部署(k8s企业级Docker容器集群管理)系列目录 1.部署master组件 ...
velero 备份、迁移 kubernetes 应用以及持久化数据卷
velero 是heptio 团队开源的kubernetes 应用以及持久化数据卷备份以及迁移的解决方案,以前的名字为ark 包含以下特性: 备份集群以及恢复 copy 当前集群的资源到其他集群复制 ...
Kubernetes(k8s) docker集群搭建
原文地址:https://blog.csdn.net/real_myth/article/details/78719244 一.Kubernetes系列之介绍篇 •Kubernetes介绍 1.背 ...
pod(一)：Kubernetes(k8s)创建pod的两种方式
目录一.系统环境二.前言三.pod 四.创建pod 4.1 环境介绍 4.2 使用命令行的方式创建pod 4.2.1 创建最简单的pod 4.2.2 创建pod,指定镜像下载策略 4.2.3 创 ...
《两地书》--Kubernetes(K8s)基础知识(docker容器技术)
大家都知道历史上有段佳话叫“司马相如和卓文君”.“皑如山上雪,皎若云间月”.卓文君这么美,却也抵不过多情女儿薄情郎. 司马相如因一首<子虚赋>得汉武帝赏识,飞黄腾达之后便要与卓文君“故来相 ...
Kubernetes使用GlusterFS实现数据持久化
k8s中部署有状态应用等需要持久化数据的应用,必不可少得用存储,k8s支持很多中存储方案,我司目前使用的存储有glusterfs(分为容器化和裸机方式).nfs供应用选用,本次就简单实战下gluste ...
Kubernetes(K8s)基础知识(docker容器技术)
今天谈谈K8s基础知识关键词: 一个目标:容器操作:两地三中心:四层服务发现:五种Pod共享资源:六个CNI常用插件:七层负载均衡:八种隔离维度:九个网络模型原则:十类IP地址:百级产品线:千级物理机 ...

随机推荐

Elasticsearch：Split index API - 把一个大的索引分拆成更多分片
文章转载自:https://blog.csdn.net/UbuntuTouch/article/details/108960950
C++ 自学笔记访问限制 Setting limits
Setting limits 让客户不能改,让设计者可以改 C++: 任何人访问成员函数访问(同一个类的不同实例化对象可以相互访问私有成员变量) 类自己或子类访问 friend: 朋友就可以授权访问 ...
鼠标悬停过度事件：Transition
CSS代码:<style> div{width:100px;height:100px;background:blue;transition: 0.5s;//0.5秒完成}div:hover ...
leetcode刷题记录之25（集合实现）
题目描述: 给你链表的头节点 head ,每 k 个节点一组进行翻转,请你返回修改后的链表. k 是一个正整数,它的值小于或等于链表的长度.如果节点总数不是 k 的整数倍,那么请将最后剩余的节点保持原 ...
RAID5 IO处理之写请求代码详解
我们知道RAID5一个条带上的数据是由N个数据块和1个校验块组成,其校验块由N个数据块通过异或运算得出,这样才能在任意一个成员磁盘失效时通过其他N个成员磁盘恢复出用户写入的数据.这也就要求RAID5条 ...
『现学现忘』Git基础 — 37、标签tag（二）
目录 5.共享标签 6.删除标签 7.修改标签指定提交的代码 8.标签在.git目录中的位置 9.本文中所使用到的命令提示:接上一篇文章内容. 5.共享标签默认情况下,git push 命令并不会 ...
reportportal 集成 robotframework 自动化执行及结果可视化
前言: 最近领导想了个需求,想把目前组内在linux平台上执行的自动化脚本搞成可视化,如果是web站点相关日志可视化倒是简单了,ELK就是不错的选择,大部分可视化项目这种的,可以做的开起来很炫. 我们 ...
Android RecyclerView使用ListAdapter高效刷新数据
原文:Android RecyclerView使用ListAdapter高效刷新数据 - Stars-One的杂货小窝我们都知道,当RecyclerView数据源更新后,还需要通过adapter调用 ...
五、Python操作redis
五.Python操作redis 一.python对redis基本操作 (1)连接redis # 方式1 import redis r = redis.Redis(host='127.0.0.1', p ...
springboot项目整合-注册功能模块开发
工程简介准备工作:项目所用到的html界面以及sql文件链接如下:链接: https://pan.baidu.com/s/18loHJiKRC6FI6XkoANMSJg?pwd=nkz2 提取码: ...

Kubernetes(k8s)存储管理之数据卷volumes(四)：持久卷Persistent Volume