加固指南旨在与特定版本的 CIS Kubernetes Benchmark，Kubernetes 和 Rancher 一起使用：

点击这里下载 PDF 版本的加固指南

下面的安全加固指南是针对在生产环境的 Rancher v2.3.5 中使用 Kubernetes v1.15 版本的集群。它概述了如何满足互联网安全中心（CIS）提出的 Kubernetes 安全标准。

有关如果根据官方 CIS 基准评估集群的更多详细信息，请参阅。

已知问题

如果注册自定义节点时只提供了公共 IP，在 CIS 1.5 加固设置中，将无法正常在 Rancher UI 中使用执行命令行和查看日志功能。如果想要使用上述两个功能，请在注册自定义节点时提供私有 IP 地址。

  • 如果注册自定义节点时只提供了公共 IP，在 CIS 1.5 加固设置中，将无法正常在 Rancher UI 中使用执行命令行和查看日志功能。如果想要使用上述两个功能，请在注册自定义节点时提供私有 IP 地址。
  • 为 restricted时，Rancher 在默认的 service account 中创建角色绑定和集群角色绑定。CIS 1.5 要求默认 service account 没有绑定任何角色，不提供 service account 的 token，不分配特定的权限。

配置内核运行时参数

对于集群中的所有类型的节点，都建议使用以下的sysctl配置。在/etc/sysctl.d/90-kubelet.conf中设置以下参数：

执行sysctl -p /etc/sysctl.d/90-kubelet.conf来启用配置。

要创建etcd组，请运行以下控制台命令。

  1. addgroup --gid 52034 etcd
  2. useradd --comment "etcd service account" --uid 52034 --gid 52034 etcd

使用etcd用户的uid和gid更新 RKE 的 config.yml文件：

  1. services:
  2.   etcd:
  3.     gid: 52034
  4.     uid: 52034

将default服务账号的automountServiceAccountToken设置为 false。

Kubernetes 提供了一个默认服务账号（Service Account），如果集群的工作负载中没有为 Pod 分配任何特定服务账号，那么它将会使用这个default的服务账号。在需要从 Pod 访问 Kubernetes API 的情况下，应为该 Pod 创建一个特定的服务账号，并向该服务账号授予权限。这个default的服务账户应该被设置为不提供服务账号令牌（service account token）和任何权限。将automountServiceAccountToken设置为 false 之后，Kubernetes 在启动 Pod 时，将不会自动注入default服务账户。

对于每个命名空间中的，default服务账号必须包含以下值：

把下面的 yaml 另存为account_update.yaml

  1. apiVersion: v1
  2. kind: ServiceAccount
  3. metadata:
  4.   name: default
  5. automountServiceAccountToken: false

创建一个名称为account_update.sh的脚本。通过运行chmod +x account_update.sh，使这个脚本有执行权限。

  1. #!/bin/bash -e
  3. for namespace in $(kubectl get namespaces -A -o json | jq -r '.items[].metadata.name'); do
  4.   kubectl patch serviceaccount default -n ${namespace} -p "$(cat account_update.yaml)"
  5. done

确保所有命名空间均已定义网络策略

在同一个 Kubernetes 集群上运行不同的应用程序会产生一个风险，那就是应用可能受到相邻应用程序的攻击。为了确保容器只能与预期的容器进行通信，网络细分是必不可少的。通过设置网络策略（Network Policy），可以设置哪些 Pod 之间可以通信，以及是否可以和其他网络端点进行通信。

在集群上启用 CN​​I 插件后，您可以设置一个默认的网络策略。下面是一个宽松的网络策略示例，仅供参考。如果您想要允许到某个命名空间内所有 Pod 的流量（即使已经添加了一些策略，使得一些 Pods 被隔离了），您可以创建一个策略，明确允许该命名空间中的所有流量。将以下yaml另存为 default-allow-all.yaml。额外关于网络策略的信息，请查看Kubernetes 官方文档。

:::important 重要 这个NetworkPolicy示例不建议在生产环境中使用。 :::

创建一个名称为apply_networkPolicy_to_all_ns.sh的脚本。通过运行chmod +x apply_networkPolicy_to_all_ns.sh，使这个脚本有执行权限。

  1. #!/bin/bash -e
  3. for namespace in $(kubectl get namespaces -A -o json | jq -r '.items[].metadata.name'); do
  4.   kubectl apply -f default-allow-all.yaml -n ${namespace}
  5. done

运行脚本，以使全部的命名空间使用这个default-allow-all.yaml文件中的宽松的NetworkPolicy。

您可以用这个供您参考的cluster.yml，通过 RKE CLI 来创建安全加固的 Rancher Kubernetes Engine（RKE）集群。有关每个配置的详细信息，请参阅。

  1. # 如果您打算在离线环境中部署Kubernetes，
  2. # 请查阅有关如何配置自定义RKE镜像的文档。
  3. kubernetes_version: "v1.15.9-rancher1-1"
  4. enable_network_policy: true
  5. default_pod_security_policy_template_id: "restricted"
  6. services:
  7.   etcd:
  8.     uid: 52034
  9.     gid: 52034
  10.   kube-api:
  11.     pod_security_policy: true
  12.     secrets_encryption_config:
  13.       enabled: true
  14.     audit_log:
  15.       enabled: true
  16.     admission_configuration:
  17.     event_rate_limit:
  18.       enabled: true
  19.   kube-controller:
  20.     extra_args:
  21.       feature-gates: "RotateKubeletServerCertificate=true"
  22.   scheduler:
  23.     image: ""
  24.     extra_args: {}
  25.     extra_binds: []
  26.     extra_env: []
  27.   kubelet:
  28.     generate_serving_certificate: true
  29.     extra_args:
  30.       feature-gates: "RotateKubeletServerCertificate=true"
  31.       protect-kernel-defaults: "true"
  32.       tls-cipher-suites: "TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_ECDSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384,TLS_ECDHE_RSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_128_GCM_SHA256"
  33.     extra_binds: []
  34.     extra_env: []
  35.     cluster_domain: ""
  36.     infra_container_image: ""
  37.     cluster_dns_server: ""
  38.     fail_swap_on: false
  39.   kubeproxy:
  40.     image: ""
  41.     extra_args: {}
  42.     extra_binds: []
  43.     extra_env: []
  44. network:
  45.   plugin: ""
  46.   options: {}
  47.   mtu: 0
  48.   node_selector: {}
  49. authentication:
  50.   strategy: ""
  51.   sans: []
  52.   webhook: null
  53. addons: |
  54.   ---
  55.   apiVersion: v1
  56.   kind: Namespace
  57.   metadata:
  58.     name: ingress-nginx
  59.   ---
  60.   apiVersion: rbac.authorization.k8s.io/v1
  61.   kind: Role
  62.   metadata:
  63.     name: default-psp-role
  64.     namespace: ingress-nginx
  65.   rules:
  66.   - apiGroups:
  67.     - extensions
  68.     resourceNames:
  69.     - default-psp
  70.     resources:
  72.     verbs:
  73.     - use
  74.   ---
  75.   apiVersion: rbac.authorization.k8s.io/v1
  76.   metadata:
  77.     name: default-psp-rolebinding
  78.     namespace: ingress-nginx
  79.   roleRef:
  80.     apiGroup: rbac.authorization.k8s.io
  81.     kind: Role
  82.     name: default-psp-role
  83.   subjects:
  84.   - apiGroup: rbac.authorization.k8s.io
  85.     kind: Group
  86.     name: system:serviceaccounts
  87.   - apiGroup: rbac.authorization.k8s.io
  88.     kind: Group
  89.     name: system:authenticated
  90.   ---
  91.   apiVersion: v1
  92.   kind: Namespace
  93.   metadata:
  94.     name: cattle-system
  95.   ---
  96.   apiVersion: rbac.authorization.k8s.io/v1
  97.   kind: Role
  98.   metadata:
  99.     name: default-psp-role
  100.     namespace: cattle-system
  101.   rules:
  102.   - apiGroups:
  103.     - extensions
  104.     resourceNames:
  105.     - default-psp
  106.     resources:
  107.     - podsecuritypolicies
  108.     verbs:
  109.     - use
  110.   ---
  111.   apiVersion: rbac.authorization.k8s.io/v1
  112.   kind: RoleBinding
  113.   metadata:
  114.     name: default-psp-rolebinding
  115.     namespace: cattle-system
  116.   roleRef:
  117.     apiGroup: rbac.authorization.k8s.io
  118.     kind: Role
  119.     name: default-psp-role
  120.   subjects:
  121.   - apiGroup: rbac.authorization.k8s.io
  122.     kind: Group
  123.     name: system:serviceaccounts
  124.   - apiGroup: rbac.authorization.k8s.io
  125.     kind: Group
  126.     name: system:authenticated
  127.   ---
  128.   apiVersion: policy/v1beta1
  129.   kind: PodSecurityPolicy
  130.   metadata:
  131.     name: restricted
  132.   spec:
  133.     requiredDropCapabilities:
  134.     - NET_RAW
  135.     privileged: false
  136.     allowPrivilegeEscalation: false
  137.     defaultAllowPrivilegeEscalation: false
  138.     fsGroup:
  139.       rule: RunAsAny
  140.     runAsUser:
  141.       rule: MustRunAsNonRoot
  142.     seLinux:
  143.       rule: RunAsAny
  144.     supplementalGroups:
  145.       rule: RunAsAny
  146.     volumes:
  147.     - emptyDir
  148.     - secret
  149.     - persistentVolumeClaim
  150.     - downwardAPI
  151.     - configMap
  152.     - projected
  153.   ---
  154.   apiVersion: rbac.authorization.k8s.io/v1
  155.   kind: ClusterRole
  156.   metadata:
  157.     name: psp:restricted
  158.   rules:
  159.   - apiGroups:
  160.     - extensions
  161.     resourceNames:
  162.     - restricted
  163.     resources:
  164.     - podsecuritypolicies
  165.     verbs:
  166.     - use
  167.   ---
  168.   apiVersion: rbac.authorization.k8s.io/v1
  169.   kind: ClusterRoleBinding
  170.   metadata:
  171.     name: psp:restricted
  172.   roleRef:
  173.     apiGroup: rbac.authorization.k8s.io
  174.     kind: ClusterRole
  175.     name: psp:restricted
  176.   subjects:
  177.   - apiGroup: rbac.authorization.k8s.io
  178.     kind: Group
  179.     name: system:serviceaccounts
  180.   - apiGroup: rbac.authorization.k8s.io
  182.     name: system:authenticated
  183.   apiVersion: v1
  184.   kind: ServiceAccount
  185.   metadata:
  186.     name: tiller
  187.     namespace: kube-system
  188.   ---
  189.   apiVersion: rbac.authorization.k8s.io/v1
  190.   kind: ClusterRoleBinding
  191.   metadata:
  192.     name: tiller
  193.   roleRef:
  194.     apiGroup: rbac.authorization.k8s.io
  195.     kind: ClusterRole
  196.     name: cluster-admin
  197.   subjects:
  198.   - kind: ServiceAccount
  199.     name: tiller
  200.     namespace: kube-system
  202. addons_include: []
  203. system_images:
  204.   etcd: ""
  205.   alpine: ""
  206.   nginx_proxy: ""
  207.   cert_downloader: ""
  208.   kubernetes_services_sidecar: ""
  209.   kubedns: ""
  210.   dnsmasq: ""
  211.   kubedns_sidecar: ""
  212.   kubedns_autoscaler: ""
  213.   coredns: ""
  214.   coredns_autoscaler: ""
  215.   kubernetes: ""
  216.   flannel: ""
  217.   flannel_cni: ""
  218.   calico_node: ""
  219.   calico_cni: ""
  220.   calico_controllers: ""
  221.   calico_ctl: ""
  222.   calico_flexvol: ""
  223.   canal_node: ""
  224.   canal_cni: ""
  225.   canal_flannel: ""
  226.   canal_flexvol: ""
  227.   weave_node: ""
  228.   weave_cni: ""
  229.   pod_infra_container: ""
  230.   ingress: ""
  231.   ingress_backend: ""
  232.   metrics_server: ""
  233.   windows_pod_infra_container: ""
  234. ssh_key_path: ""
  235. ssh_cert_path: ""
  236. ssh_agent_auth: false
  237. authorization:
  238.   mode: ""
  239.   options: {}
  240. ignore_docker_version: false
  241. private_registries: []
  242. ingress:
  243.   provider: ""
  244.   options: {}
  245.   node_selector: {}
  246.   extra_args: {}
  247.   dns_policy: ""
  248.   extra_envs: []
  249.   extra_volumes: []
  250.   extra_volume_mounts: []
  251. cluster_name: ""
  252. prefix_path: ""
  253. addon_job_timeout: 0
  254. bastion_host:
  255.   address: ""
  256.   port: ""
  257.   user: ""
  258.   ssh_key: ""
  259.   ssh_key_path: ""
  260.   ssh_cert: ""
  261.   ssh_cert_path: ""
  262. monitoring:
  263.   provider: ""
  264.   options: {}
  265.   node_selector: {}
  266. restore:
  267.   restore: false
  268.   snapshot_name: ""
  269. dns: null

安全加固的 RKE 模板配置参考

这个 RKE 参考模板提供了安装安全加固的 Kubenetes 所需的配置。RKE 模板用于配置 Kubernetes 和定义 Rancher 设置。请参阅Rancher 文档获得更多安装和 RKE 模板的详细信息。

安全加固的 Ubuntu 18.04 LTS cloud-config参考配置

这个供您参考的cloud-config通常被用于云基础架构环境中，来进行计算实例的配置管理。这个参考配置了在安装 kubernetes 之前需要的 Ubuntu 操作系统级别的设置。

  1. #cloud-config
  2. packages:
  3.   - curl
  4.   - jq
  5. runcmd:
  6.   - sysctl -w vm.overcommit_memory=1
  7.   - sysctl -w kernel.panic=10
  8.   - sysctl -w kernel.panic_on_oops=1
  9.   - curl https://releases.rancher.com/install-docker/18.09.sh | sh
  10.   - usermod -aG docker ubuntu
  11.   - return=1; while [ $return != 0 ]; do sleep 2; docker ps; return=$?; done
  12.   - addgroup --gid 52034 etcd
  13.   - useradd --comment "etcd service account" --uid 52034 --gid 52034 etcd
  14. write_files:
  15.   - path: /etc/sysctl.d/kubelet.conf
  16.     owner: root:root
  17.     permissions: "0644"
  18.     content: |
  19.       vm.overcommit_memory=1
  20.       kernel.panic=10