使用 kubeadm 创建一个高可用 etcd 集群

    默认情况下，kubeadm 运行单成员的 etcd 集群，该集群由控制面节点上的 kubelet 以静态 Pod 的方式进行管理。由于 etcd 集群只包含一个成员且不能在任一成员不可用时保持运行，所以这不是一种高可用设置。本任务，将告诉您如何在使用 kubeadm 创建一个 kubernetes 集群时创建一个外部 etcd：有三个成员的高可用 etcd 集群。

    • 三个可以通过 2379 和 2380 端口相互通信的主机。本文档使用这些作为默认端口。不过，它们可以通过 kubeadm 的配置文件进行自定义。

    • 每个主机必须 。

    • 一些可以用来在主机间复制文件的基础设施。例如 和 scp 就可以满足需求。

    一般来说，是在一个节点上生成所有证书并且只分发这些必要的文件到其它节点上。

    说明：

    kubeadm 包含生成下述证书所需的所有必要的密码学工具；在这个例子中，不需要其他加密工具。

    1. 将 kubelet 配置为 etcd 的服务管理器。

    2. 为 kubeadm 创建配置文件。

      使用以下脚本为每个将要运行 etcd 成员的主机生成一个 kubeadm 配置文件。

      1. # 使用 IP 或可解析的主机名替换 HOST0、HOST1 和 HOST2
      2. export HOST0=10.0.0.6
      3. export HOST1=10.0.0.7
      4. export HOST2=10.0.0.8
      6. # 创建临时目录来存储将被分发到其它主机上的文件
      7. mkdir -p /tmp/${HOST0}/ /tmp/${HOST1}/ /tmp/${HOST2}/
      9. ETCDHOSTS=(${HOST0} ${HOST1} ${HOST2})
      10. NAMES=("infra0" "infra1" "infra2")
      12. for i in "${!ETCDHOSTS[@]}"; do
      13. HOST=${ETCDHOSTS[$i]}
      14. NAME=${NAMES[$i]}
      15. cat << EOF > /tmp/${HOST}/kubeadmcfg.yaml
      16. apiVersion: "kubeadm.k8s.io/v1beta2"
      17. kind: ClusterConfiguration
      18. etcd:
      19.     local:
      20.         serverCertSANs:
      21.         - "${HOST}"
      22.         - "${HOST}"
      23.         extraArgs:
      24.             initial-cluster: infra0=https://${ETCDHOSTS[0]}:2380,infra1=https://${ETCDHOSTS[1]}:2380,infra2=https://${ETCDHOSTS[2]}:2380
      25.             initial-cluster-state: new
      26.             name: ${NAME}
      27.             listen-peer-urls: https://${HOST}:2380
      29.             advertise-client-urls: https://${HOST}:2379
      30.             initial-advertise-peer-urls: https://${HOST}:2380
      31. EOF
      32. done

    3. 生成证书颁发机构

      如果您已经拥有 CA，那么唯一的操作是复制 CA 的 crt 和 key 文件到 etc/kubernetes/pki/etcd/ca.crt 和 /etc/kubernetes/pki/etcd/ca.key。复制完这些文件后继续下一步，“为每个成员创建证书”。

      如果您还没有 CA，则在 $HOST0（您为 kubeadm 生成配置文件的位置）上运行此命令。

      1. kubeadm init phase certs etcd-ca

      创建了如下两个文件

      • /etc/kubernetes/pki/etcd/ca.crt
      • /etc/kubernetes/pki/etcd/ca.key

    4. 为每个成员创建证书

    5. 复制证书和 kubeadm 配置

      证书已生成，现在必须将它们移动到对应的主机。

      1. USER=ubuntu
      2. HOST=${HOST1}
      3. scp -r /tmp/${HOST}/* ${USER}@${HOST}:
      4. ssh ${USER}@${HOST}
      5. USER@HOST $ sudo -Es
      6. root@HOST $ chown -R root:root pki
      7. root@HOST $ mv pki /etc/kubernetes/

    6. $HOST0 所需文件的完整列表如下：

      1. /tmp/${HOST0}
      2. └── kubeadmcfg.yaml
      3. ---
      4. /etc/kubernetes/pki
      5. ├── apiserver-etcd-client.key
      6. └── etcd
      7.     ├── ca.crt
      8.     ├── ca.key
      10.     ├── healthcheck-client.key
      11.     ├── peer.crt
      12.     ├── peer.key
      13.     ├── server.crt
      14.     └── server.key

      在 $HOST1:

      在 $HOST2

      1. $HOME
      2. └── kubeadmcfg.yaml
      3. ---
      4. /etc/kubernetes/pki
      5. ├── apiserver-etcd-client.crt
      6. ├── apiserver-etcd-client.key
      7. └── etcd
      8.     ├── ca.crt
      9.     ├── healthcheck-client.crt
      10.     ├── healthcheck-client.key
      11.     ├── peer.crt
      12.     ├── peer.key
      13.     ├── server.crt
      14.     └── server.key

    7. 创建静态 Pod 清单

      既然证书和配置已经就绪，是时候去创建清单了。在每台主机上运行 kubeadm 命令来生成 etcd 使用的静态清单。

      1. root@HOST0 $ kubeadm init phase etcd local --config=/tmp/${HOST0}/kubeadmcfg.yaml
      2. root@HOST1 $ kubeadm init phase etcd local --config=/home/ubuntu/kubeadmcfg.yaml
      3. root@HOST2 $ kubeadm init phase etcd local --config=/home/ubuntu/kubeadmcfg.yaml

    8. 可选：检查群集运行状况

      • 将 ${HOST0} 设置为要测试的主机的 IP 地址

    一旦拥有了一个正常工作的 3 成员的 etcd 集群，你就可以基于 使用 kubeadm 的外部 etcd 方法， 继续部署一个高可用的控制平面。