使用Prometheus监控kubernetes集群

需要用到的镜像有：

• harbor-001.jimmysong.io/library/prometheus-alertmanager:v0.7.1
• harbor-001.jimmysong.io/library/grafana:4.2.0
• harbor-001.jimmysong.io/library/prom-prometheus:v1.7.0
• harbor-001.jimmysong.io/library/kube-state-metrics:v1.0.1
• harbor-001.jimmysong.io/library/dockermuenster-caddy:0.9.3
• harbor-001.jimmysong.io/library/prom-node-exporter:v0.14.0

同时备份到时速云：

• index.tenxcloud.com/jimmy/prometheus-alertmanager:v0.7.1
• index.tenxcloud.com/jimmy/grafana:4.2.0
• index.tenxcloud.com/jimmy/giantswarm-tiny-tools:latest
• index.tenxcloud.com/jimmy/prom-prometheus:v1.7.0
• index.tenxcloud.com/jimmy/dockermuenster-caddy:0.9.3
• index.tenxcloud.com/jimmy/prom-node-exporter:v0.14.0

注：所有镜像都是从官方镜像仓库下载下。

我将部署时需要用的的配置文件分成了 namespace、serviceaccount、configmaps、clusterrolebinding 和最后的部署 prometheus、grafana 的过程。

访问 kubernetes 任何一个 node 上的 Grafana service 的 nodeport：

该图中的数据显示明显有问题，还需要修正。

文件中有一个 Job 就是用来导入 grafana dashboard 配置信息的，如果该 Job 执行失败，可以单独在在 monitoring 的 namespace 中启动一个容器，将 manifests/prometheus 目录下的 json 文件复制到容器中，然后进入容器 json 文件的目录下执行：

这样也可以向 grafana 中导入 dashboard。

该项目的代码中存在几个问题。

需要用到两个 clusterrolebinding：

• kube-state-metrics，对应的是kube-state-metrics
• prometheus，对应的 serviceaccount是

解决方法

也可以绕过复杂的 RBAC 设置，直接使用下面的命令将对应的 serviceaccount 设置成 admin 权限，如下：

参考 RBAC——基于角色的访问控制

从 kube-state-metrics 日志中可以看出用户 kube-state-metrics 没有权限访问如下资源类型：

• *v1.Job
• *v1.PersistentVolumeClaim
• *v1beta1.StatefulSet
• *v2alpha1.CronJob

而在我们使用的 kubernetes 1.6.0 版本的集群中 API 路径跟 kube-state-metrics 中不同，无法 list 以上三种资源对象的资源。

不需要指定 csr 文件，只需要 token 即可。