K8s的存储卷使用总结

K8s的存储卷:
　　它有四种存储卷:
　　1. emptyDir: 空目录,这种存储卷会随着Pod的删除而被清空，它一般作为缓存目录使用，或临时目录，
　　　当做缓存目录时，通常会将一块内存空间映射到该目录上，让Pod做为缓存目录使用。
　　2. hostPath

SAN(存储区域网络)： iSCSI，FB
NAS(网络附加存储)： nfs，cifs
分布式存储: Glusterfs, ceph(rbd), cephfs
云存储: EBS(弹性块存储)，Azure Disk

#emptyDir存储卷的示例:
vim  pod-volume.yaml
apiVersion:v1
kind: Pod
metadata:
 name: pod-demo
 namespace: default
 labels:
     app: myapp
     tier: frontend
 annotations:
     magedu.com/created-by: “cluster admin”
spec:
  containers:
  -  name: httpd
     image: busybox:latest
     imagePullPolicy: IfNotPresent   #设定镜像策略为即便本地没有镜像也不去下载.
     command: ["/bin/httpd","-f","-h", " /data/web/html"]
     ports:
     - name: http
       containerPort:
     volumeMounts:          #存储卷可被一个Pod中的多个容器挂载.谁需要就定义挂载即可.
     - name: html
       mountPath: /data/web/html/
  - name: busybox
    image: busybox: latest
    imagePullPolicy: IfNotPresent
    volumeMounts:
    -  name: html
       mountPath: /data/
    command:
    - “/bin/sh”
    - “-c”
    - "while true; do echo $(date) >> /data/index.html; sleep 2; done”
volumes:
-  name: html
   emptyDir: {}

#开始创建Pod
　　kubectl apply -f pod-volume.yaml
　　kubectl get pods
　　kubectl exec -it pod-demo -c busybox -- /bin/sh 　　 #联入pod-demo这个Pod中叫busybox的容器中.

#注意:
　当一个Pod中有多个容器时，当Pod启动出现错误，可通过
　　kubectl describe pods pod-demo 　　　　 #查看其中每个容器的Status，来确认每个容器的运行状态。

gitRepo类型的存储卷:
　gitRepo：这种类型的存储卷是在容器启动时，将远程git仓库中的数据(如: 网站代码)给克隆一份到本地，然后启动容器使用该克隆的数据来提供服务，这份克隆的数据在容器运行过程中不会将更新的数据同步到git仓库中，同时git仓库中的更新也不会同步到该容器中，若要实现当git仓库发生改变时，能同步到容器的存储卷中，还要借助于辅助容器，每隔一段时间就去克隆一份git仓库中的数据, 当本地数据改变时，再同步到git仓库中。

hostPath类型的存储卷:
　它有一下几种类型:
　　1. DirectoryOrCreate: 它可以是宿主机上的一个已存在的目录，也可不存在，若不存在则自动创建.
　　2. Directory: 它必须是宿主机上一个已经存在的目录。
　　3. FileOrCreate： 它可以是宿主机上的一个文件，若此文件不存在则创建一个空文件来挂载。
　　4. File：宿主机上的一个已经存在的文件，若不存在则报错。
　　5. Socket：宿主机上一个已经存在的Unix Socket文件.
　　6. CharDevice: 宿主机上一个已存在的字符类型的设备文件.
　　7. BlockDevice: 宿主机上一个已存在的块类型的设备文件。

#创建一个hostPath类型的存储卷示例:
vim  pod-hostpath-vol.yaml
apiVersion: v1
kind: Pod
metadata:
   name: pod-hostpath-vol
   namespace: default
spec:
  containers:
  - name: myapp
    image: ikubernetes/myapp:v1
    volumeMounts:
      - name: html
        mountPath: /usr/share/nginx/html/
    volumes:
    - name: html
      hostPath:
          #这是定义宿主机上那个目录作为容器myapp的存储卷的.
        path: /data/pod/volume1
        type: DirectoryOrCreate

创建Pod前的准备:
　　1. 因为不确定Pod会被调度到那个节点上，因此再两个节点上都创建/data/pod/volume1
　　    并再该目录中都创建一个网页文件，并有意让两个节点上的目录中的网页文件内容不同
　　    以便查看效果。

创建Pod
　　kubectl apply -f pod-hostpath-vol.yaml
　　kubectl get pods -o wide
　　curl   http://Pod_IP

　　#删除看它若调度到第二个节点上，继续访问Pod_IP,会发现依然可访问.
　　#但这仅实现了节点级别数据持久，若节点挂了，数据依然不保！
　　kubectl delete -f pod-hostpath-vol.yaml 
　　　　　　

NFS类型的网络共享存储卷:
　　1. 配置前的准备工作
　　node10:
　　　　在集群外的一台主机上启动NFS服务，让它来提供网络共享存储.
　　　　yum install -y nfs nfs-utils
　　　　vim /etc/exports
　　　　　/data/volumes 192.168.111.0/24(rw,no_root_squash)

　　　　mkdir -pv /data/volumes
　　　　systemctl start nfs

　　2. 在集群内运行Pod的两个宿主机上测试挂载nfs共享，若能挂载，则Pod一定是能使用NFS共享存储的。
　　　　yum install -y nfs-utils
　　　　mount -t nfs node10:/data/volumes /mnt 　　 #若能成功挂载,就可以卸载了.

. 创建NFS 共享存储卷的配置清单:
vim  pod-nfs-vol.yaml
apiVersion: v1
kind: Pod
metadata:
  name: pod-nfs-vol
  namespace: default
spec:
  containers:
  - name: myapp
      image: ikubernetes/myapp:v1
      volumeMounts:
    -  name: html
       mountPath: /usr/share/nginx/html/
 volumes:
 -  name: html
    nfs:
     path: /data/volumes
     server: node10.test.com    #先测试直接让Pod挂载NFS共享

#应用上面的清单文件，创建Pod来测试

　  kubectl apply -f pod-nfs-vol.yaml
　  kubectl get pods

　node10: #在NFS共享目录中创建index.html
　　echo “<h1> NFS share stroage server </h1>” >> /data/volumes/index.html

回到pod所在节点:
　　curl   http://Pod_IP 　　 #可以看到正常返回NFS Share ....的信息.

PVC 使用示例:
　　PV的访问模型:
　　　accessModes:
　　　ReadWriteOnce【简写:RWO】: 单路读写，即仅能有一个节点挂载读写
　　　ReadOnlyMany【ROX】: 多路只读
　　   ReadWriteMany【RWX】：多路读写

1. 准备后端存储环境:
　node10:
　　mkdir /data/volumes/{v1,v2,v3,v4,v5}

　　vim /etc/exports
　　　　/data/volumes/v1         192.168.111.0/24(rw,no_root_squash)
　　　　/data/volumes/v2 　　 192.168.111.0/24(rw,no_root_squash)
　　　　/data/volumes/v3 　　 192.168.111.0/24(rw,no_root_squash)

　　exportfs   -arv
　　showmount   -e

.  将这几个共享存储卷在K8s上定义为PV
vim  pv-demo.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv01   #PV是集群级别的资源,因此它不能定义在名称空间中,它可以被任何名称空间使用.
                 名称空间也不能嵌套,因为它也是集群级别的资源.
  labels:
       name: pv01
       rate: high    #添加一个速度标签,用于标明其存储效率更高,以便后期标签选择器选择.
spec:
  nfs:
    path: /data/volumes/v1
    server: node10.test.com
  #对于访问模型,可定义为底层共享存储的子集,但不能是超集
  #即: NFS支持RWO,ROX,RWX,但我创建PV时,可只提供其中一个或多个.
  accessModes: ["ReadWriteMany", “ReadWriteOnce”]
 capacity:
      #对于存储能力,它的单位有:T,P,G,M,K或 Ti,Pi,Gi,Mi,Ki 区别:加i的是以1024为换算单位的。
      storage: 2Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv02
  labels:
   name: pv02
   rate: high
spec:
 nfs:
    path: /data/volumes/v2
    server: node10.test.com
 accessModes: ["ReadWriteMany","ReadOnlyMany"]
 capacity:
    storage: 5Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv03
  labels:
    name: pv03
    rate: high
spec:
 nfs:
   path: /data/volumes/v3
   server: node10.test.com
 accessModes: ["ReadWriteMany","ReadOnlyMany"]
 capacity:
    storage: 10Gi

创建PV
　　kubectl apply -f pv-demo.yaml
　　kubectl get pv
　　　RECLAIM POLICY：回收策略
　　　　Retain: 保留，即若Pod绑定了一个PVC,PVC绑定了一个PV，后来Pod删除了,那么PV中的数据要怎么处理？
　　　　　　　　Retain是默认回收策略，即这些数据保留着，以便Pod再次创建时还能使用。
　　　　Released: 这种回收策略是, 不保留数据, 即Pod删除,则PV自动回收，清空里面的数据,并允许其他Pod绑定使用.
　　　　Delete: 删除,即PVC和PV解除绑定后，PV自动删除.数据也就被清空了。

创建PVC:
vim   pod-pvc-vol.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
     name: mypvc
     namespace: default
spec:
   #它必须是PV的子集,即PV必须能符合它的要求.
   accessModes: ["ReadWriteMany"]
   resources:
      requests:
        storage: 6Gi
---
apiVersion: v1
kind: Pod
metadata:
   name: pod-vol-pvc
   namespace: default
spec:
  containers:
  - name: myapp
    image: ikubernetes/myapp:v1
    volumeMounts:
     - name: html
       mountPath: /usr/share/nginx/html/
    volumes:
    -  name: html
       persistentVolumeClaim:
         claimName: mypvc

# kubectl  apply  -f  pod-pvc-vol.yaml
    #验证:
    # kubectl get pv
        NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM           STORAGECLASS   REASON   AGE
        pv01   1Gi        RWO,RWX        Retain           Available                                           7m3s
        pv02   2Gi        ROX,RWX        Retain           Available                                           7m3s
        pv03   5Gi        ROX,RWX        Retain           Available                                           6m3s
        pv04   10Gi       ROX,RWX        Retain           Bound       default/mypvc                           6m3s
        pv05   20Gi       ROX,RWX        Retain           Available                                           6m3s
 
# kubectl describe pod pod-vol-pvc
        Name:         pod-vol-pvc
        Namespace:    default
        .....
            Mounts:
              /var/lib/nginx/html from html (rw)
              /var/run/secrets/kubernetes.io/serviceaccount from default-token-6xlcj (ro)
        .......
        Volumes:
          html:
            Type:       PersistentVolumeClaim (a reference to a PersistentVolumeClaim in the same namespace)
            ClaimName:  mypvc
            ReadOnly:   false
 
# kubectl get pvc
        NAME    STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
        mypvc   Bound    pv04     10Gi       ROX,RWX                       100s
 
# kubectl describe pvc mypvc
        Name:          mypvc
        Namespace:     default
        StorageClass:
        Status:        Bound
        Volume:        pv04
        .......
        Capacity:      10Gi
        Access Modes:  ROX,RWX
        VolumeMode:    Filesystem
        Events:        <none>
        Mounted By:    pod-vol-pvc  #这里可查看此PVC当前挂载到那个容器里了，本例中是挂载到 pod-vol-pvc这个容器中了。
 
注意:
 PVC 它是K8s中的标准资源，它存储在API Server的etcd(集群状态存储)存储数据库中，即便Pod因为故障被删除了，依然不影响PVC的存在，下次Pod启动后，依然可以使用PVC.