prometheus

前面说了prometheus operator持久化的问题，但是还有一个问题很多人都忽略了，那就是prometheus operator数据保留天数，根据官方文档的说明，默认prometheus operator数据存储的时间为1d，这个时候无论你prometheus operator如何进行持久化，都没有作用，因为数据只保留了1天，那么你是无法看到更多天数的数据

因为Prometheus operator默认情况下没有将数据持久化存储，当Pod被删除或者意外重启后，可能会造成数据丢失。

现在我们需要自定义Prometheus operator，这里以监控ETCD为例。由于我们的etcd是跑在kubernetes外部的，想要监控到，本文章主要介绍k8s二进制安装监控etcd，由于是二进制安装我们需要手动的创建Endpoints以及Service。

默认情况下，prometheus operator已经可以监控我们的集群，但是无法监控kube-controller-manager和kube-scheduler。 这里我们将这2个组件进行监控，并将prometheus和grafana添加traefik。通过ingress进行访问

之前的文章介绍过传统方式安装Prometheus来监控集群，但是这种方式有一定的缺陷虽然完全可以用自定义方式来实现，但是不够灵活，不具有通用性。在自定义监控时还需要不断的更新Prometheus的配置。如果是kubernetes集群完全可以使用一种更原始的方式来实现kubernetes集群监控，即采用Prometheus Operator

本文章目前可以用于测试阶段，线上使用脚本请等我周末更新镜像替换脚本~

prometheus的兄弟alertmanager就是一个专门负责报警的组建，它独立于prometheus项目，自行运行并接收来自prometheus的请求，然后使用多种方式进行报警，之所以不是直接集成到prometheus中。本次prometheus和alertmanager采用pod configmap挂载的方式进行安装。

Grafana是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知。

首先需要我们监控集群的节点，要监控节点其实我们已经有很多非常成熟的方案了，比如Nagios、Zabbix，甚至可以我们自己收集数据，这里我们通过prometheus来采集节点的监控指标，可以通过node_exporter获取，node_exporter就是抓取用于采集服务器节点的各种运行指标，目前node_exporter几乎支持所有常见的监控点，比如cpu、distats、loadavg、mem…

Redis应用没有自带的/metrics接口，我们就需要利用exporter服务来为prometheus提供指标数据了。Prometheus官方为许多应用提供了exporter应用

在早期的版本中 Kubernetes 提供了 heapster、influxDB、grafana 的组合来监控系统，所以我们可以在 Dashboard 中看到 heapster 提供的一些图表信息，在后续的版本中会陆续移除掉 heapster，现在更加流行的监控工具是 prometheus，prometheus 是 Google 内部监控报警系统的开源版本，是 Google SRE 思想在其内部不…

目前Prometheus支持OpenTsdb、InfluxDB、Elasticsearch等后端存储，通过适配器实现Prometheus存储的remote write和remote read接口，便可以接入Prometheus作为远程存储使用