使用 kubeadm 创建一个高可用 etcd 集群

    在本指南中，使用 kubeadm 作为外部 etcd 节点管理工具，请注意 kubeadm 不计划支持此类节点的证书更换或升级。 对于长期规划是使用 etcdadm 增强工具来管理这些方面。

    默认情况下，kubeadm 在每个控制平面节点上运行一个本地 etcd 实例。也可以使用外部的 etcd 集群，并在不同的主机上提供 etcd 实例。 这两种方法的区别在 页面中阐述。

    这个任务将指导你创建一个由三个成员组成的高可用外部 etcd 集群，该集群在创建过程中可被 kubeadm 使用。

    • 三个可以通过 2379 和 2380 端口相互通信的主机。本文档使用这些作为默认端口。不过，它们可以通过 kubeadm 的配置文件进行自定义。

    • 每个主机必须安装 systemd 和 bash 兼容的 shell。

    • 每台主机必须。

    • 每个主机都应该能够访问 Kubernetes 容器镜像仓库 (registry.k8s.io)， 或者使用 列出/拉取所需的 etcd 镜像。 本指南将把 etcd 实例设置为由 kubelet 管理的静态 Pod。

    • 一些可以用来在主机间复制文件的基础设施。例如 ssh 和 scp 就可以满足需求。

    一般来说，是在一个节点上生成所有证书并且只分发这些必要的文件到其它节点上。

    说明：

    说明：

    下面的例子使用 IPv4 地址，但是你也可以使用 IPv6 地址配置 kubeadm、kubelet 和 etcd。一些 Kubernetes 选项支持双协议栈，但是 etcd 不支持。 关于 Kubernetes 双协议栈支持的更多细节，请参见 kubeadm 的双栈支持。

    1. 将 kubelet 配置为 etcd 的服务管理器。

      说明： 你必须在要运行 etcd 的所有主机上执行此操作。

      由于 etcd 是首先创建的，因此你必须通过创建具有更高优先级的新文件来覆盖 kubeadm 提供的 kubelet 单元文件。

      检查 kubelet 的状态以确保其处于运行状态：

      1. systemctl status kubelet

    2. 为 kubeadm 创建配置文件。

      使用以下脚本为每个将要运行 etcd 成员的主机生成一个 kubeadm 配置文件。

      1. # 使用你的主机 IP 替换 HOST0、HOST1 和 HOST2 的 IP 地址
      2. export HOST0=10.0.0.6
      3. export HOST1=10.0.0.7
      4. export HOST2=10.0.0.8
      6. # 使用你的主机名更新 NAME0、NAME1 和 NAME2
      7. export NAME0="infra0"
      8. export NAME1="infra1"
      9. export NAME2="infra2"
      11. # 创建临时目录来存储将被分发到其它主机上的文件
      12. mkdir -p /tmp/${HOST0}/ /tmp/${HOST1}/ /tmp/${HOST2}/
      14. HOSTS=(${HOST0} ${HOST1} ${HOST2})
      15. NAMES=(${NAME0} ${NAME1} ${NAME2})
      17. for i in "${!HOSTS[@]}"; do
      18. HOST=${HOSTS[$i]}
      19. NAME=${NAMES[$i]}
      20. cat << EOF > /tmp/${HOST}/kubeadmcfg.yaml
      21. ---
      22. apiVersion: "kubeadm.k8s.io/v1beta3"
      23. kind: InitConfiguration
      24. nodeRegistration:
      25.     name: ${NAME}
      26. localAPIEndpoint:
      27.     advertiseAddress: ${HOST}
      28. ---
      29. apiVersion: "kubeadm.k8s.io/v1beta3"
      30. kind: ClusterConfiguration
      31. etcd:
      32.     local:
      33.         serverCertSANs:
      34.         - "${HOST}"
      35.         - "${HOST}"
      36.         extraArgs:
      37.             initial-cluster: ${NAMES[0]}=https://${HOSTS[0]}:2380,${NAMES[1]}=https://${HOSTS[1]}:2380,${NAMES[2]}=https://${HOSTS[2]}:2380
      38.             initial-cluster-state: new
      39.             name: ${NAME}
      40.             listen-peer-urls: https://${HOST}:2380
      42.             advertise-client-urls: https://${HOST}:2379
      43.             initial-advertise-peer-urls: https://${HOST}:2380
      44. EOF
      45. done

    3. 生成证书颁发机构

      如果你已经拥有 CA，那么唯一的操作是复制 CA 的 crt 和 key 文件到 etc/kubernetes/pki/etcd/ca.crt 和 /etc/kubernetes/pki/etcd/ca.key。 复制完这些文件后继续下一步，“为每个成员创建证书”。

      这一操作创建如下两个文件：

      • /etc/kubernetes/pki/etcd/ca.crt
      • /etc/kubernetes/pki/etcd/ca.key

    4. 为每个成员创建证书

      1. kubeadm init phase certs etcd-server --config=/tmp/${HOST2}/kubeadmcfg.yaml
      2. kubeadm init phase certs etcd-peer --config=/tmp/${HOST2}/kubeadmcfg.yaml
      3. kubeadm init phase certs etcd-healthcheck-client --config=/tmp/${HOST2}/kubeadmcfg.yaml
      4. kubeadm init phase certs apiserver-etcd-client --config=/tmp/${HOST2}/kubeadmcfg.yaml
      5. cp -R /etc/kubernetes/pki /tmp/${HOST2}/
      6. # 清理不可重复使用的证书
      7. find /etc/kubernetes/pki -not -name ca.crt -not -name ca.key -type f -delete
      9. kubeadm init phase certs etcd-server --config=/tmp/${HOST1}/kubeadmcfg.yaml
      10. kubeadm init phase certs etcd-peer --config=/tmp/${HOST1}/kubeadmcfg.yaml
      11. kubeadm init phase certs etcd-healthcheck-client --config=/tmp/${HOST1}/kubeadmcfg.yaml
      12. kubeadm init phase certs apiserver-etcd-client --config=/tmp/${HOST1}/kubeadmcfg.yaml
      13. cp -R /etc/kubernetes/pki /tmp/${HOST1}/
      14. find /etc/kubernetes/pki -not -name ca.crt -not -name ca.key -type f -delete
      16. kubeadm init phase certs etcd-server --config=/tmp/${HOST0}/kubeadmcfg.yaml
      17. kubeadm init phase certs etcd-peer --config=/tmp/${HOST0}/kubeadmcfg.yaml
      18. kubeadm init phase certs etcd-healthcheck-client --config=/tmp/${HOST0}/kubeadmcfg.yaml
      19. kubeadm init phase certs apiserver-etcd-client --config=/tmp/${HOST0}/kubeadmcfg.yaml
      20. # 不需要移动 certs 因为它们是给 HOST0 使用的
      22. # 清理不应从此主机复制的证书
      23. find /tmp/${HOST2} -name ca.key -type f -delete
      24. find /tmp/${HOST1} -name ca.key -type f -delete

    5. 复制证书和 kubeadm 配置

      证书已生成，现在必须将它们移动到对应的主机。

      1. USER=ubuntu
      2. HOST=${HOST1}
      3. scp -r /tmp/${HOST}/* ${USER}@${HOST}:
      4. ssh ${USER}@${HOST}
      5. USER@HOST $ sudo -Es
      6. root@HOST $ mv pki /etc/kubernetes/

    6. 确保已经所有预期的文件都存在

      $HOST0 所需文件的完整列表如下：

      在 $HOST1 上：

      2. └── kubeadmcfg.yaml
      3. ---
      4. /etc/kubernetes/pki
      5. ├── apiserver-etcd-client.crt
      6. ├── apiserver-etcd-client.key
      7. └── etcd
      8.     ├── ca.crt
      9.     ├── healthcheck-client.crt
      10.     ├── healthcheck-client.key
      11.     ├── peer.crt
      12.     ├── peer.key
      13.     ├── server.crt
      14.     └── server.key

      在 $HOST2 上：

      1. $HOME
      2. └── kubeadmcfg.yaml
      3. ---
      4. /etc/kubernetes/pki
      5. ├── apiserver-etcd-client.crt
      6. ├── apiserver-etcd-client.key
      7. └── etcd
      8.     ├── ca.crt
      9.     ├── healthcheck-client.crt
      10.     ├── healthcheck-client.key
      11.     ├── peer.crt
      12.     ├── peer.key
      13.     ├── server.crt
      14.     └── server.key

    7. 创建静态 Pod 清单

      既然证书和配置已经就绪，是时候去创建清单了。 在每台主机上运行 kubeadm 命令来生成 etcd 使用的静态清单。

      1. docker run --rm -it \
      2. --net host \
      3. -v /etc/kubernetes:/etc/kubernetes registry.k8s.io/etcd:${ETCD_TAG} etcdctl \
      4. --cert /etc/kubernetes/pki/etcd/peer.crt \
      5. --key /etc/kubernetes/pki/etcd/peer.key \
      6. --cacert /etc/kubernetes/pki/etcd/ca.crt \
      7. --endpoints https://${HOST0}:2379 endpoint health --cluster
      8. ...
      9. https://[HOST0 IP]:2379 is healthy: successfully committed proposal: took = 16.283339ms
      10. https://[HOST1 IP]:2379 is healthy: successfully committed proposal: took = 19.44402ms
      11. https://[HOST2 IP]:2379 is healthy: successfully committed proposal: took = 35.926451ms
      • 将 ${ETCD_TAG} 设置为你的 etcd 镜像的版本标签，例如 3.4.3-0。 要查看 kubeadm 使用的 etcd 镜像和标签，请执行 kubeadm config images list --kubernetes-version ${K8S_VERSION}， 例如，其中的 ${K8S_VERSION} 可以是 。
      • 将 ${HOST0} 设置为要测试的主机的 IP 地址。

    一旦拥有了一个正常工作的 3 成员的 etcd 集群，你就可以基于 使用 kubeadm 外部 etcd 的方法， 继续部署一个高可用的控制平面。