利用NFS动态提供Kubernetes后端存储卷

    nfs-client-provisioner 是一个Kubernetes的简易NFS的外部provisioner,本身不提供NFS,需要现有的NFS服务器提供存储

    • PV以 ${namespace}-${pvcName}-${pvName}的命名格式提供(在NFS服务器上)
    • PV回收的时候以 archieved-${namespace}-${pvcName}-${pvName} 的命名格式(在NFS服务器上)
    • 修改deployment文件并部署 deploy/deployment.yaml

    需要修改的地方只有NFS服务器所在的IP地址(10.10.10.60),以及NFS服务器共享的路径(/ifs/kubernetes),两处都需要修改为你实际的NFS服务器和共享目录

    • 修改StorageClass文件并部署 deploy/class.yaml

    此处可以不修改,或者修改provisioner的名字,需要与上面的deployment的PROVISIONER_NAME名字一致。

    1. apiVersion: storage.k8s.io/v1
    2. kind: StorageClass
    3. metadata:
    4. name: managed-nfs-storage
    5. provisioner: fuseim.pri/ifs

    如果您的集群启用了RBAC,或者您正在运行OpenShift,则必须授权provisioner。 如果你在非默认的“default”名称空间/项目之外部署,可以编辑deploy/auth/clusterrolebinding.yaml或编辑`oadm policy“指令。

    需要执行如下的命令来授权。

    1. $ kubectl create -f deploy/auth/serviceaccount.yaml
    2. serviceaccount "nfs-client-provisioner" created
    3. $ kubectl create -f deploy/auth/clusterrole.yaml
    4. clusterrole "nfs-client-provisioner-runner" created
    5. $ kubectl create -f deploy/auth/clusterrolebinding.yaml
    6. clusterrolebinding "run-nfs-client-provisioner" created
    7. $ kubectl patch deployment nfs-client-provisioner -p '{"spec":{"template":{"spec":{"serviceAccount":"nfs-client-provisioner"}}}}'

    测试创建PVC

    • kubectl create -f deploy/test-claim.yaml
    • kubectl create -f deploy/test-pod.yaml

    在NFS服务器上的共享目录下的卷子目录中检查创建的NFS PV卷下是否有”SUCCESS” 文件。

    删除测试POD

    • kubectl delete -f deploy/test-pod.yaml

    删除测试PVC

    • kubectl delete -f deploy/test-claim.yaml

    在NFS服务器上的共享目录下查看NFS的PV卷回收以后是否名字以archived开头。

    • NFS服务器配置

      1. # cat /etc/exports
      1. nfs-deployment.yaml示例

      • StorageClass示例

      可以修改Class的名字,我的改成了default。

      1. # cat class.yaml
      1. apiVersion: storage.k8s.io/v1
      2. kind: StorageClass
      3. metadata:
      4. name: default
      5. provisioner: fuseim.pri/ifs
      • 查看StorageClass
      1. # kubectl get sc
      2. NAME PROVISIONER AGE
      3. default fuseim.pri/ifs 2d
      • 设置这个default名字的SC为Kubernetes的默认存储后端
      1. # kubectl patch storageclass default -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'
      2. storageclass.storage.k8s.io "default" patched
      3. # kubectl get sc
      4. NAME PROVISIONER AGE
      5. default (default) fuseim.pri/ifs 2d
      • 测试创建PVC

      查看pvc文件

      1. # cat test-claim.yaml

      创建PVC

      1. # kubectl apply -f test-claim.yaml
      2. persistentvolumeclaim "test-claim" created
      3. root@Ubuntu-master:~/kubernetes/nfs# kubectl get pvc|grep test
      4. test-claim Bound pvc-fe3cb938-3f15-11e8-b61d-08002795cb26 1Mi RWX default 10s
      5. # kubectl get pv|grep test
      6. pvc-fe3cb938-3f15-11e8-b61d-08002795cb26 1Mi RWX Delete Bound default/test-claim default 58s
      • 启动测试POD

      POD文件如下,作用就是在test-claim的PV里touch一个SUCCESS文件。

        1. kind: Pod
        2. apiVersion: v1
        3. name: test-pod
        4. spec:
        5. containers:
        6. - name: test-pod
        7. image: gcr.io/google_containers/busybox:1.24
        8. command:
        9. - "/bin/sh"
        10. args:
        11. - "-c"
        12. - "touch /mnt/SUCCESS && exit 0 || exit 1"
        13. volumeMounts:
        14. - name: nfs-pvc
        15. mountPath: "/mnt"
        16. restartPolicy: "Never"
        17. volumes:
        18. - name: nfs-pvc
        19. persistentVolumeClaim:
        20. claimName: test-claim

        启动POD,一会儿POD就是completed状态,说明执行完毕。

        1. # kubectl apply -f test-pod.yaml
        2. pod "test-pod" created
        3. kubectl get pod|grep test
        4. test-pod 0/1 Completed 0 40s

        我们去NFS共享目录查看有没有SUCCESS文件。

        1. # cd default-test-claim-pvc-fe3cb938-3f15-11e8-b61d-08002795cb26
        2. # ls