增强型 StatefulSet 控制器

    Kubernetes 内置 StatefulSet 为 Pods 分配连续的序号。比如 3 个副本时,Pods 分别为 pod-0, pod-1, pod-2。扩缩容时,必须在尾部增加或删除 Pods。比如扩容到 4 个副本时,会新增 pod-3。缩容到 2 副本时,会删除 pod-2。

    在使用本地存储时,Pods 与 Nodes 存储资源绑定,无法自由调度。若希望删除掉中间某个 Pod ,以便维护其所在的 Node 但并没有其他 Node 可以迁移时,或者某个 Pod 故障想直接删除,另起一个序号不一样的 Pod 时,无法通过内置 StatefulSet 实现。

    基于内置 StatefulSet 实现,新增了自由控制 Pods 序号的功能。本文介绍如何在 TiDB Operator 中使用。

    1. 载入 Advanced StatefulSet 的 CRD 文件:

      • Kubernetes 1.16 之前版本:

      • Kubernetes 1.16 及之后版本:

    2. 在 TiDB Operator chart 的 values.yaml 中启用 AdvancedStatefulSet 特性:

    使用

    AdvancedStatefulSet 数据格式与 StatefulSet 完全一致,但以 CRD 方式实现,别名为 asts ,可通过以下方法查看命名空间下的对象。

    1. kubectl get -n ${namespace} asts

    使用增强型 StatefulSet 时,在对 TidbCluster 进行缩容时,除了减少副本数,可同时通过配置 annotations 指定对 PD,TiDB 或 TiKV 组件下任意一个 Pod 进行缩容。

    比如:

    上述配置会部署 4 个 TiKV 实例,分别为 basic-tikv-0,basic-tikv-1,…,basic-tikv-3。若想缩容掉 basic-tikv-1 需要修改 spec.tikv.replicas 为 3,同时配置以下 annotations:

    1. metadata:
    2. annotations:
    3. tikv.tidb.pingcap.com/delete-slots: '[1]'

    完整例子如下:

    支持的 annotations 为:

    • tidb.tidb.pingcap.com/delete-slots:指定 TiDB 组件需要删除的 Pod 序号。
    • tikv.tidb.pingcap.com/delete-slots:指定 TiKV 组件需要删除的 Pod 序号。

    其中 Annotation 值为 JSON 的整数数组,比如 [0], [0,1], [1,3] 等。

    对前面缩容进行反向操作,即可恢复 basic-tikv-1。

    例子如下:

    1. apiVersion: pingcap.com/v1alpha1
    2. kind: TidbCluster
    3. metadata:
    4. annotations:
    5. tikv.tidb.pingcap.com/delete-slots: '[]'
    6. name: asts
    7. spec:
    8. version: v3.0.12
    9. timezone: UTC
    10. pd:
    11. baseImage: pingcap/pd
    12. requests:
    13. storage: "1Gi"
    14. config: {}
    15. tikv:
    16. baseImage: pingcap/tikv
    17. replicas: 4
    18. requests:
    19. storage: "1Gi"
    20. config: {}
    21. tidb:
    22. baseImage: pingcap/tidb
    23. replicas: 2
    24. service: