安全加固指南 - v2.5.0 - CIS1.5

加固指南旨在与特定版本的 CIS Kubernetes Benchmark，Kubernetes 和 Rancher 一起使用：

下面的安全加固指南是针对在生产环境的 Rancher v2.5.0 中使用 Kubernetes v1.15 版本的集群。它概述了如何满足互联网安全中心（CIS）提出的 Kubernetes 安全标准。

有关如果根据官方 CIS 基准评估集群的更多详细信息，请参阅。

已知问题

如果注册自定义节点时只提供了公共 IP，在 CIS 1.5 加固设置中，将无法正常在 Rancher UI 中使用执行命令行和查看日志功能。

  • 如果注册自定义节点时只提供了公共 IP，在 CIS 1.5 加固设置中，将无法正常在 Rancher UI 中使用执行命令行和查看日志功能。如果想要使用上述两个功能，请在注册自定义节点时提供私有 IP 地址。
  • default_pod_security_policy_template_id:为 restricted时，Rancher 在默认的 service account 中创建角色绑定和集群角色绑定。CIS 1.5 要求默认 service account 没有绑定任何角色，不提供 service account 的 token，不分配特定的权限。

配置内核运行时参数

对于集群中的所有类型的节点，都建议使用以下的sysctl配置。在/etc/sysctl.d/90-kubelet.conf中设置以下参数：

Copy

执行sysctl -p /etc/sysctl.d/90-kubelet.conf来启用配置。

在安装 RKE 之前，需要设置etcd服务的用户帐户和组。etcd用户的uid和gid将在 RKE 的config.yml中使用，以在安装期间为文件和目录设置适当的权限。

以下命令使用52034作为uid和gid的例子。任何有效的未使用的uid或gid也可以用来代替52034。

要创建etcd组，请运行以下控制台命令。

  1. addgroup --gid 52034 etcd
  3. useradd --comment "etcd service account" --uid 52034 --gid 52034 etcd

使用etcd用户的uid和gid更新 RKE 的 config.yml文件：

  1. services:
  3.   etcd:
  5.     gid: 52034
  7.     uid: 52034

Copy

将default服务账号的automountServiceAccountToken设置为 false

Kubernetes 提供了一个默认服务账号（Service Account），如果集群的工作负载中没有为 Pod 分配任何特定服务账号，那么它将会使用这个default的服务账号。在需要从 Pod 访问 Kubernetes API 的情况下，应为该 Pod 创建一个特定的服务账号，并向该服务账号授予权限。这个default的服务账户应该被设置为不提供服务账号令牌（service account token）和任何权限。将automountServiceAccountToken设置为 false 之后，Kubernetes 在启动 Pod 时，将不会自动注入default服务账户。

对于标准 RKE 安装中包括default和kube-system在内的每个命名空间，default服务账户必须包含这个值。

Copy

把下面的 yaml 另存为account_update.yaml

  1. apiVersion: v1
  3. kind: ServiceAccount
  5. metadata:
  7.   name: default
  9. automountServiceAccountToken: false

Copy

创建一个名称为account_update.sh的脚本。通过运行chmod +x account_update.sh，使这个脚本有执行权限。

  1. #!/bin/bash -e
  6. for namespace in $(kubectl get namespaces -o custom-columns=NAME:.metadata.name --no-headers); do
  8.   kubectl patch serviceaccount default -n ${namespace} -p "$(cat account_update.yaml)"
  10. done

Copy

确保所有命名空间均已定义网络策略

在同一个 Kubernetes 集群上运行不同的应用程序会产生一个风险，那就是应用可能受到相邻应用程序的攻击。为了确保容器只能与预期的容器进行通信，网络细分是必不可少的。通过设置网络策略（Network Policy），可以设置哪些 Pod 之间可以通信，以及是否可以和其他网络端点进行通信。

在集群上启用 CN​​I 插件后，您可以设置一个默认的网络策略。下面是一个宽松的网络策略示例，仅供参考。如果您想要允许到某个命名空间内所有 Pod 的流量（即使已经添加了一些策略，使得一些 Pods 被隔离了），您可以创建一个策略，明确允许该命名空间中的所有流量。将以下yaml另存为 default-allow-all.yaml。额外关于网络策略的信息，请查看Kubernetes 官方文档。

重要

这个NetworkPolicy示例不建议在生产环境中使用。

Copy

创建一个名称为apply_networkPolicy_to_all_ns.sh的脚本。通过运行chmod +x apply_networkPolicy_to_all_ns.sh，使这个脚本有执行权限

  1. #!/bin/bash -e
  6. for namespace in $(kubectl get namespaces -o custom-columns=NAME:.metadata.name --no-headers); do
  8.   kubectl apply -f default-allow-all.yaml -n ${namespace}
  10. done

Copy

运行脚本，以使全部的命名空间使用这个default-allow-all.yaml文件中的宽松的NetworkPolicy。

您可以用这个供您参考的cluster.yml，通过 RKE CLI 来创建安全加固的 Rancher Kubernetes Engine（RKE）集群。有关每个配置的详细信息，请参阅RKE 文档。这个cluster.yml问号不包括所需的nodes指令，它将根据你的环境而变化。有关如何节点配置的文档可以参考。

  1. # If you intend to deploy Kubernetes in an air-gapped environment,
  3. # please consult the documentation on how to configure custom RKE images.
  5. kubernetes_version: "v1.15.9-rancher1-1"
  7. enable_network_policy: true
  9. default_pod_security_policy_template_id: "restricted"
  11. # the nodes directive is required and will vary depending on your environment
  13. # documentation for node configuration can be found here:
  15. # https://docs.rancher.cn/docs/rke/config-options/nodes/_index
  17. services:
  19.   etcd:
  21.     uid: 52034
  23.     gid: 52034
  25.   kube-api:
  27.     pod_security_policy: true
  29.     secrets_encryption_config:
  31.       enabled: true
  33.     audit_log:
  35.       enabled: true
  37.     admission_configuration:
  39.     event_rate_limit:
  41.       enabled: true
  43.   kube-controller:
  45.     extra_args:
  47.       feature-gates: "RotateKubeletServerCertificate=true"
  49.   scheduler:
  51.     image: ""
  53.     extra_args: {}
  55.     extra_binds: []
  57.     extra_env: []
  59.   kubelet:
  61.     generate_serving_certificate: true
  63.     extra_args:
  65.       feature-gates: "RotateKubeletServerCertificate=true"
  67.       protect-kernel-defaults: "true"
  69.       tls-cipher-suites: "TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_ECDSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384,TLS_ECDHE_RSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_128_GCM_SHA256"
  71.     extra_binds: []
  73.     extra_env: []
  75.     cluster_domain: ""
  77.     infra_container_image: ""
  79.     cluster_dns_server: ""
  81.     fail_swap_on: false
  83.   kubeproxy:
  85.     image: ""
  87.     extra_args: {}
  89.     extra_binds: []
  91.     extra_env: []
  93. network:
  95.   plugin: ""
  97.   options: {}
  99.   mtu: 0
  101.   node_selector: {}
  103. authentication:
  105.   strategy: ""
  107.   sans: []
  109.   webhook: null
  111. addons: |
  113.   ---
  115.   apiVersion: v1
  117.   kind: Namespace
  119.   metadata:
  121.     name: ingress-nginx
  123.   ---
  125.   apiVersion: rbac.authorization.k8s.io/v1
  127.   kind: Role
  129.   metadata:
  131.     name: default-psp-role
  133.     namespace: ingress-nginx
  135.   rules:
  137.   - apiGroups:
  139.     - extensions
  141.     resourceNames:
  143.     - default-psp
  145.     resources:
  147.     - podsecuritypolicies
  151.     - use
  153.   ---
  155.   apiVersion: rbac.authorization.k8s.io/v1
  157.   kind: RoleBinding
  159.   metadata:
  161.     name: default-psp-rolebinding
  162.     namespace: ingress-nginx
  164.   roleRef:
  166.     apiGroup: rbac.authorization.k8s.io
  168.     kind: Role
  170.     name: default-psp-role
  172.   subjects:
  174.   - apiGroup: rbac.authorization.k8s.io
  176.     kind: Group
  178.     name: system:serviceaccounts
  180.   - apiGroup: rbac.authorization.k8s.io
  182.     kind: Group
  184.     name: system:authenticated
  186.   ---
  188.   apiVersion: v1
  190.   kind: Namespace
  192.   metadata:
  194.     name: cattle-system
  196.   ---
  198.   apiVersion: rbac.authorization.k8s.io/v1
  200.   kind: Role
  202.   metadata:
  204.     name: default-psp-role
  206.     namespace: cattle-system
  208.   rules:
  210.   - apiGroups:
  212.     - extensions
  214.     resourceNames:
  216.     - default-psp
  218.     resources:
  220.     - podsecuritypolicies
  222.     verbs:
  224.     - use
  226.   ---
  228.   apiVersion: rbac.authorization.k8s.io/v1
  230.   kind: RoleBinding
  232.   metadata:
  234.     name: default-psp-rolebinding
  236.     namespace: cattle-system
  238.   roleRef:
  240.     apiGroup: rbac.authorization.k8s.io
  242.     kind: Role
  244.     name: default-psp-role
  246.   subjects:
  248.   - apiGroup: rbac.authorization.k8s.io
  250.     kind: Group
  252.     name: system:serviceaccounts
  254.   - apiGroup: rbac.authorization.k8s.io
  256.     kind: Group
  258.     name: system:authenticated
  260.   ---
  262.   apiVersion: policy/v1beta1
  264.   kind: PodSecurityPolicy
  266.   metadata:
  268.     name: restricted
  270.   spec:
  272.     requiredDropCapabilities:
  274.     - NET_RAW
  276.     privileged: false
  278.     allowPrivilegeEscalation: false
  280.     defaultAllowPrivilegeEscalation: false
  282.     fsGroup:
  284.       rule: RunAsAny
  286.     runAsUser:
  288.       rule: MustRunAsNonRoot
  290.     seLinux:
  292.       rule: RunAsAny
  294.     supplementalGroups:
  296.       rule: RunAsAny
  298.     volumes:
  300.     - emptyDir
  302.     - secret
  304.     - persistentVolumeClaim
  306.     - downwardAPI
  308.     - configMap
  310.     - projected
  312.   ---
  314.   apiVersion: rbac.authorization.k8s.io/v1
  316.   kind: ClusterRole
  318.   metadata:
  320.     name: psp:restricted
  322.   rules:
  324.   - apiGroups:
  326.     - extensions
  328.     resourceNames:
  330.     - restricted
  332.     resources:
  334.     - podsecuritypolicies
  336.     verbs:
  338.     - use
  340.   ---
  342.   apiVersion: rbac.authorization.k8s.io/v1
  344.   kind: ClusterRoleBinding
  346.   metadata:
  348.     name: psp:restricted
  350.   roleRef:
  352.     apiGroup: rbac.authorization.k8s.io
  354.     kind: ClusterRole
  356.     name: psp:restricted
  358.   subjects:
  360.   - apiGroup: rbac.authorization.k8s.io
  362.     kind: Group
  364.     name: system:serviceaccounts
  366.   - apiGroup: rbac.authorization.k8s.io
  370.     name: system:authenticated
  372.   ---
  374.   apiVersion: v1
  375.   kind: ServiceAccount
  377.   metadata:
  379.     name: tiller
  381.     namespace: kube-system
  383.   ---
  385.   apiVersion: rbac.authorization.k8s.io/v1
  387.   kind: ClusterRoleBinding
  389.   metadata:
  391.     name: tiller
  393.   roleRef:
  395.     apiGroup: rbac.authorization.k8s.io
  397.     kind: ClusterRole
  399.     name: cluster-admin
  401.   subjects:
  403.   - kind: ServiceAccount
  405.     name: tiller
  407.     namespace: kube-system
  412. addons_include: []
  414. system_images:
  416.   etcd: ""
  418.   alpine: ""
  420.   nginx_proxy: ""
  422.   cert_downloader: ""
  424.   kubernetes_services_sidecar: ""
  426.   kubedns: ""
  428.   dnsmasq: ""
  430.   kubedns_sidecar: ""
  432.   kubedns_autoscaler: ""
  434.   coredns: ""
  436.   coredns_autoscaler: ""
  438.   kubernetes: ""
  440.   flannel: ""
  442.   flannel_cni: ""
  444.   calico_node: ""
  446.   calico_cni: ""
  448.   calico_controllers: ""
  450.   calico_ctl: ""
  452.   calico_flexvol: ""
  454.   canal_node: ""
  456.   canal_cni: ""
  458.   canal_flannel: ""
  460.   canal_flexvol: ""
  462.   weave_node: ""
  464.   weave_cni: ""
  466.   pod_infra_container: ""
  468.   ingress: ""
  470.   ingress_backend: ""
  472.   metrics_server: ""
  474.   windows_pod_infra_container: ""
  476. ssh_key_path: ""
  478. ssh_cert_path: ""
  480. ssh_agent_auth: false
  482. authorization:
  484.   mode: ""
  486.   options: {}
  488. ignore_docker_version: false
  490. private_registries: []
  492. ingress:
  494.   provider: ""
  496.   options: {}
  498.   node_selector: {}
  500.   extra_args: {}
  502.   dns_policy: ""
  504.   extra_envs: []
  506.   extra_volumes: []
  508.   extra_volume_mounts: []
  510. cluster_name: ""
  512. prefix_path: ""
  514. addon_job_timeout: 0
  516. bastion_host:
  518.   address: ""
  520.   port: ""
  522.   user: ""
  524.   ssh_key: ""
  526.   ssh_key_path: ""
  528.   ssh_cert: ""
  530.   ssh_cert_path: ""
  532. monitoring:
  534.   provider: ""
  536.   options: {}
  538.   node_selector: {}
  540. restore:
  542.   restore: false
  544.   snapshot_name: ""
  546. dns: null

Copy

安全加固的 RKE 模板配置参考

这个 RKE 参考模板提供了安装安全加固的 Kubenetes 所需的配置。RKE 模板用于配置 Kubernetes 和定义 Rancher 设置。请参阅获得更多安装和 RKE 模板的详细信息。

Copy

安全加固的 Ubuntu 18.04 LTS cloud-config参考配置

  1. #cloud-config
  3. packages:
  5.   - curl
  7.   - jq
  9. runcmd:
  11.   - sysctl -w vm.overcommit_memory=1
  13.   - sysctl -w kernel.panic=10
  15.   - sysctl -w kernel.panic_on_oops=1
  17.   - curl https://releases.rancher.com/install-docker/18.09.sh | sh
  19.   - usermod -aG docker ubuntu
  21.   - return=1; while [ $return != 0 ]; do sleep 2; docker ps; return=$?; done
  23.   - addgroup --gid 52034 etcd
  25.   - useradd --comment "etcd service account" --uid 52034 --gid 52034 etcd
  27. write_files:
  29.   - path: /etc/sysctl.d/kubelet.conf
  31.     owner: root:root
  33.     permissions: "0644"
  35.     content: |
  37.       vm.overcommit_memory=1
  39.       kernel.panic=10

Copy