安全加固指南 - v2.5.0 - CIS1.6

加固指南旨在与特定版本的 CIS Kubernetes Benchmark，Kubernetes 和 Rancher 一起使用：

下面的安全加固指南是针对在生产环境的 Rancher v2.5.4 中使用 Kubernetes v1.15 版本的集群。它概述了如何满足互联网安全中心（CIS）提出的 Kubernetes 安全标准。

有关如果根据官方 CIS 基准评估集群的更多详细信息，请参阅CIS Benchmark Rancher 自测指南 - Rancher v2.5.4。

已知问题

如果注册自定义节点时只提供了公共 IP，在 CIS 1.6 加固设置中，将无法正常在 Rancher UI 中使用执行命令行和查看日志功能。

  • 如果注册自定义节点时只提供了公共 IP，在 CIS 1.6 加固设置中，将无法正常在 Rancher UI 中使用执行命令行和查看日志功能。如果想要使用上述两个功能，请在注册自定义节点时提供私有 IP 地址。
  • default_pod_security_policy_template_id:为 restricted时，Rancher 在默认的 service account 中创建角色绑定和集群角色绑定。CIS 1.6 要求默认 service account 没有绑定任何角色，不提供 service account 的 token，不分配特定的权限。

配置内核运行时参数

对于集群中的所有类型的节点，都建议使用以下的sysctl配置。在/etc/sysctl.d/90-kubelet.conf中设置以下参数：

Copy

执行sysctl -p /etc/sysctl.d/90-kubelet.conf来启用配置。

在安装 RKE 之前，需要设置etcd服务的用户帐户和组。etcd用户的uid和gid将在 RKE 的config.yml中使用，以在安装期间为文件和目录设置适当的权限。

以下命令使用52034作为uid和gid的例子。任何有效的未使用的uid或gid也可以用来代替52034。

要创建etcd组，请运行以下控制台命令。

  1. addgroup --gid 52034 etcd
  3. useradd --comment "etcd service account" --uid 52034 --gid 52034 etcd

使用etcd用户的uid和gid更新 RKE 的 config.yml文件：

  1. services:
  3.   etcd:
  5.     gid: 52034
  7.     uid: 52034

Copy

将default服务账号的automountServiceAccountToken设置为 false

Kubernetes 提供了一个默认服务账号（Service Account），如果集群的工作负载中没有为 Pod 分配任何特定服务账号，那么它将会使用这个default的服务账号。在需要从 Pod 访问 Kubernetes API 的情况下，应为该 Pod 创建一个特定的服务账号，并向该服务账号授予权限。这个default的服务账户应该被设置为不提供服务账号令牌（service account token）和任何权限。将automountServiceAccountToken设置为 false 之后，Kubernetes 在启动 Pod 时，将不会自动注入default服务账户。

对于标准 RKE 安装中包括default和kube-system在内的每个命名空间，default服务账户必须包含这个值。

Copy

把下面的 yaml 另存为account_update.yaml

  1. apiVersion: v1
  3. kind: ServiceAccount
  5. metadata:
  7.   name: default
  9. automountServiceAccountToken: false

Copy

创建一个名称为account_update.sh的脚本。通过运行chmod +x account_update.sh，使这个脚本有执行权限。

  1. #!/bin/bash -e
  6. for namespace in $(kubectl get namespaces -o custom-columns=NAME:.metadata.name --no-headers); do
  8.   kubectl patch serviceaccount default -n ${namespace} -p "$(cat account_update.yaml)"
  10. done

Copy

确保所有命名空间均已定义网络策略

在同一个 Kubernetes 集群上运行不同的应用程序会产生一个风险，那就是应用可能受到相邻应用程序的攻击。为了确保容器只能与预期的容器进行通信，网络细分是必不可少的。通过设置网络策略（Network Policy），可以设置哪些 Pod 之间可以通信，以及是否可以和其他网络端点进行通信。

网络策略是作用于命名空间范围的。将网络策略应用于给定命名空间时，所有不被这个策略允许的流量将被拒绝。然而，如果命名空间中没有设置网络策略，那么进出这个命名空间中 Pod 的所有流量都将被允许。要使用网络策略，必须启用 CNI（容器网络接口）插件。本指南使用提供策略实施。您可以在这里找到有关 CNI 插件的其他信息。

重要

这个NetworkPolicy示例不建议在生产环境中使用。

Copy

创建一个名称为apply_networkPolicy_to_all_ns.sh的脚本。通过运行chmod +x apply_networkPolicy_to_all_ns.sh，使这个脚本有执行权限

  1. #!/bin/bash -e
  6. for namespace in $(kubectl get namespaces -o custom-columns=NAME:.metadata.name --no-headers); do
  8.   kubectl apply -f default-allow-all.yaml -n ${namespace}
  10. done

Copy

运行脚本，以使全部的命名空间使用这个default-allow-all.yaml文件中的宽松的NetworkPolicy。

您可以用这个供您参考的cluster.yml，通过 RKE CLI 来创建安全加固的 Rancher Kubernetes Engine（RKE）集群。有关每个配置的详细信息，请参阅RKE 文档。这个cluster.yml问号不包括所需的nodes指令，它将根据你的环境而变化。有关如何节点配置的文档可以参考。

  1. # If you intend to deploy Kubernetes in an air-gapped environment,
  3. # please consult the documentation on how to configure custom RKE images.
  5. # https://rancher.com/docs/rke/latest/en/installation/
  7. # the nodes directive is required and will vary depending on your environment
  9. # documentation for node configuration can be found here:
  11. # https://rancher.com/docs/rke/latest/en/config-options/nodes
  13. nodes: []
  15. services:
  17.   etcd:
  19.     image: ""
  21.     extra_args: {}
  23.     extra_binds: []
  25.     extra_env: []
  27.     win_extra_args: {}
  29.     win_extra_binds: []
  31.     win_extra_env: []
  33.     external_urls: []
  35.     ca_cert: ""
  37.     cert: ""
  39.     key: ""
  41.     path: ""
  43.     uid: 52034
  45.     gid: 52034
  47.     snapshot: false
  49.     retention: ""
  51.     creation: ""
  53.     backup_config: null
  55.   kube-api:
  57.     image: ""
  59.     extra_args: {}
  61.     extra_binds: []
  63.     extra_env: []
  65.     win_extra_args: {}
  67.     win_extra_binds: []
  69.     win_extra_env: []
  71.     service_cluster_ip_range: ""
  73.     service_node_port_range: ""
  75.     pod_security_policy: true
  77.     always_pull_images: false
  79.     secrets_encryption_config:
  81.       enabled: true
  83.       custom_config: null
  85.     audit_log:
  87.       enabled: true
  89.       configuration: null
  91.     admission_configuration: null
  93.     event_rate_limit:
  95.       enabled: true
  97.       configuration: null
  99.   kube-controller:
  101.     image: ""
  103.     extra_args:
  105.       feature-gates: RotateKubeletServerCertificate=true
  107.     extra_binds: []
  109.     extra_env: []
  111.     win_extra_args: {}
  113.     win_extra_binds: []
  115.     win_extra_env: []
  117.     cluster_cidr: ""
  119.     service_cluster_ip_range: ""
  121.   scheduler:
  123.     image: ""
  125.     extra_args: {}
  127.     extra_binds: []
  129.     extra_env: []
  133.     win_extra_binds: []
  135.     win_extra_env: []
  137.   kubelet:
  139.     image: ""
  141.     extra_args:
  143.       feature-gates: RotateKubeletServerCertificate=true
  144.       protect-kernel-defaults: "true"
  146.       tls-cipher-suites: TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_ECDSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384,TLS_ECDHE_RSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_128_GCM_SHA256
  148.     extra_binds: []
  150.     extra_env: []
  152.     win_extra_args: {}
  154.     win_extra_binds: []
  156.     win_extra_env: []
  158.     cluster_domain: cluster.local
  160.     infra_container_image: ""
  162.     cluster_dns_server: ""
  164.     fail_swap_on: false
  166.     generate_serving_certificate: true
  168.   kubeproxy:
  170.     image: ""
  172.     extra_args: {}
  174.     extra_binds: []
  176.     extra_env: []
  178.     win_extra_args: {}
  180.     win_extra_binds: []
  182.     win_extra_env: []
  184. network:
  186.   plugin: ""
  188.   options: {}
  190.   mtu: 0
  192.   node_selector: {}
  194.   update_strategy: null
  196. authentication:
  198.   strategy: ""
  200.   sans: []
  202.   webhook: null
  204. addons: |
  206.   apiVersion: policy/v1beta1
  208.   kind: PodSecurityPolicy
  210.   metadata:
  212.     name: restricted
  214.   spec:
  216.     requiredDropCapabilities:
  218.     - NET_RAW
  220.     privileged: false
  222.     allowPrivilegeEscalation: false
  224.     defaultAllowPrivilegeEscalation: false
  226.     fsGroup:
  228.       rule: RunAsAny
  230.     runAsUser:
  232.       rule: MustRunAsNonRoot
  234.     seLinux:
  236.       rule: RunAsAny
  238.     supplementalGroups:
  240.       rule: RunAsAny
  242.     volumes:
  244.     - emptyDir
  246.     - secret
  248.     - persistentVolumeClaim
  250.     - downwardAPI
  252.     - configMap
  254.     - projected
  256.   ---
  258.   apiVersion: networking.k8s.io/v1
  260.   kind: NetworkPolicy
  262.   metadata:
  264.     name: default-allow-all
  266.   spec:
  268.     podSelector: {}
  270.     ingress:
  272.     - {}
  274.     egress:
  276.     - {}
  278.     policyTypes:
  280.     - Ingress
  282.     - Egress
  284.   ---
  286.   apiVersion: v1
  288.   kind: ServiceAccount
  290.   metadata:
  292.     name: default
  294.   automountServiceAccountToken: false
  296. addons_include: []
  298. system_images:
  300.   etcd: ""
  302.   alpine: ""
  304.   nginx_proxy: ""
  306.   cert_downloader: ""
  308.   kubernetes_services_sidecar: ""
  310.   kubedns: ""
  312.   dnsmasq: ""
  314.   kubedns_sidecar: ""
  316.   kubedns_autoscaler: ""
  318.   coredns: ""
  320.   coredns_autoscaler: ""
  322.   nodelocal: ""
  324.   kubernetes: ""
  326.   flannel: ""
  328.   flannel_cni: ""
  330.   calico_node: ""
  334.   calico_controllers: ""
  336.   calico_ctl: ""
  338.   calico_flexvol: ""
  339.   canal_node: ""
  341.   canal_cni: ""
  343.   canal_controllers: ""
  345.   canal_flannel: ""
  347.   canal_flexvol: ""
  349.   weave_node: ""
  351.   weave_cni: ""
  353.   pod_infra_container: ""
  355.   ingress: ""
  357.   ingress_backend: ""
  359.   metrics_server: ""
  361.   windows_pod_infra_container: ""
  363. ssh_key_path: ""
  365. ssh_cert_path: ""
  367. ssh_agent_auth: false
  369. authorization:
  371.   mode: ""
  373.   options: {}
  375. ignore_docker_version: false
  377. kubernetes_version: v1.18.12-rancher1-1
  379. private_registries: []
  381. ingress:
  383.   provider: ""
  385.   options: {}
  387.   node_selector: {}
  389.   extra_args: {}
  391.   dns_policy: ""
  393.   extra_envs: []
  395.   extra_volumes: []
  397.   extra_volume_mounts: []
  399.   update_strategy: null
  401.   http_port: 0
  403.   https_port: 0
  405.   network_mode: ""
  407. cluster_name:
  409. cloud_provider:
  411.   name: ""
  413. prefix_path: ""
  415. win_prefix_path: ""
  417. addon_job_timeout: 0
  419. bastion_host:
  421.   address: ""
  423.   port: ""
  425.   user: ""
  427.   ssh_key: ""
  429.   ssh_key_path: ""
  431.   ssh_cert: ""
  433.   ssh_cert_path: ""
  435. monitoring:
  437.   provider: ""
  439.   options: {}
  441.   node_selector: {}
  443.   update_strategy: null
  445.   replicas: null
  447. restore:
  449.   restore: false
  451.   snapshot_name: ""
  453. dns: null
  455. upgrade_strategy:
  457.   max_unavailable_worker: ""
  459.   max_unavailable_controlplane: ""
  461.   drain: null
  463.   node_drain_input: null

Copy

安全加固的 RKE 模板配置参考

这个 RKE 参考模板提供了安装安全加固的 Kubenetes 所需的配置。RKE 模板用于配置 Kubernetes 和定义 Rancher 设置。请参阅获得更多安装和 RKE 模板的详细信息。

Copy

安全加固的 Ubuntu 18.04 LTS cloud-config参考配置

这个供您参考的cloud-config通常被用于云基础架构环境中，来进行计算实例的配置管理。这个参考配置了在安装 kubernetes 之前需要的 Ubuntu 操作系统级别的设置。

  1. #cloud-config
  3. apt:
  5.   sources:
  7.     docker.list:
  9.       source: deb [arch=amd64] http://download.docker.com/linux/ubuntu $RELEASE stable
  11.       keyid: 9DC858229FC7DD38854AE2D88D81803C0EBFCD88
  13. system_info:
  15.   default_user:
  17.     groups:
  19.       - docker
  21. write_files:
  23.   - path: "/etc/apt/preferences.d/docker"
  25.     owner: root:root
  27.     permissions: "0600"
  29.     content: |
  31.       Package: docker-ce
  33.       Pin: version 5:19*
  35.       Pin-Priority: 800
  37.   - path: "/etc/sysctl.d/90-kubelet.conf"
  39.     owner: root:root
  41.     permissions: "0644"
  43.     content: |
  45.       vm.overcommit_memory=1
  47.       vm.panic_on_oom=0
  49.       kernel.panic=10
  51.       kernel.panic_on_oops=1
  53.       kernel.keys.root_maxbytes=25000000
  55. package_update: true
  57. packages:
  59.   - docker-ce
  61.   - docker-ce-cli
  63.   - containerd.io
  65. runcmd:
  67.   - sysctl -p /etc/sysctl.d/90-kubelet.conf
  69.   - groupadd --gid 52034 etcd

Copy