Grafana Alert告警

Grafana

Prometheus 原理介绍

新闻联播老司机

19年6月17日
喜欢：0
浏览：6.5k

除了Prometheus的AlertManager可以发送报警，grafana同时也支持高级。grafana可以无缝定义告警在数据中的位置，可视化的定义阈值，并可以通过钉钉、email等平台获取告警通知。最重要的是可直观的定义告警规则，不断的评估并发送通知。grafana只有在4.0以上版本才有，同时在Grafana 5.3及以上版本支持发送提醒，可以指定如何经常提醒应用使用的秒、分、或者小时

官方文档https://grafana.com/docs/alerting/notifications/

邮件报警配置

如果要启动email告警，需要在启动grafana的时候配置/etc/grafana/grafana.ini开启smtp服务，我这里grafana是运行在k8s 环境中，这里直接使用configmap，如果是二进制或者docker环境中也可以配置修改grafana.ini

cat >> grafana_configmap.yaml << EOF
apiVersion: v1
kind: ConfigMap
metadata:
  name: grafana-config
  namespace: kube-system
data:
  grafana.ini: |
    [server]
    [smtp]
    enabled = true
    host = smtp.163.com:465
    user = xxx@163.com
    password = <邮箱授权密码>
    skip_verify = true
    from_address = <发件人邮箱>
    [alerting]
    enabled = true
    execute_alerts = true
EOF

#我这里使用163邮件进发送邮件

这里需要说明一下，邮箱密码不是登陆密码

image_1de4ttjbo58e1ohmgrc1fl31l84m.png-348.7kB

可以参考Zabbix邮件报警的配置

Zabbix Web 邮件报警

新闻联播老司机

16年11月7日
喜欢：0
浏览：951

接下来我们创建grafana的configmap

[root@abcdocker grafana]# kubectl create -f grafana_config.yaml
configmap/grafana-config created

配置完configmap之后，我们还需要在grafana的deployment中挂载configmap

添加如下

        volumeMounts:
        - mountPath: "/etc/grafana"
          name: config1
          ....
      - name: config1
        configMap:
          name: grafana-config

如果前面grafana安装也是安装我的文档安装的，这里可以直接使用我的文档

Prometheus 持久化安装

新闻联播老司机

19年6月19日
喜欢：0
浏览：4.6k

cat >> grafana_deployment.yaml <<EOF
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: grafana
  namespace: kube-system
  labels:
    app: grafana
spec:
  revisionHistoryLimit: 10
  template:
    metadata:
      labels:
        app: grafana
    spec:
      containers:
      - name: grafana
        image: grafana/grafana:5.3.4
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 3000
          name: grafana
        env:
        - name: GF_SECURITY_ADMIN_USER
          value: admin
        - name: GF_SECURITY_ADMIN_PASSWORD
          value: abcdocker
        readinessProbe:
          failureThreshold: 10
          httpGet:
            path: /api/health
            port: 3000
            scheme: HTTP
          initialDelaySeconds: 60
          periodSeconds: 10
          successThreshold: 1
          timeoutSeconds: 30
        livenessProbe:
          failureThreshold: 3
          httpGet:
            path: /api/health
            port: 3000
            scheme: HTTP
          periodSeconds: 10
          successThreshold: 1
          timeoutSeconds: 1
        resources:
          limits:
            cpu: 100m
            memory: 256Mi
          requests:
            cpu: 100m
            memory: 256Mi
        volumeMounts:
        - mountPath: /var/lib/grafana
          subPath: grafana
          name: storage
        - mountPath: "/etc/grafana"
          name: config1
      securityContext:
        fsGroup: 472
        runAsUser: 472
      volumes:
      - name: storage
        persistentVolumeClaim:
          claimName: grafana
      - name: config1
        configMap:
          name: grafana-config
EOF

刷新配置文件

[root@yzsjhl82-138 grafana]# kubectl apply -f  grafana_deployment.yaml
deployment.extensions/grafana unchanged

#这时候还需要重启pod

[root@abcdocker grafana]# kubectl get pod -n kube-system |grep grafana
grafana-849f76ddc7-mz4z4                1/1     Running     0          5h53m
grafana-chown-qsctd                     0/1     Completed   0          5d6h
[root@abcdocker grafana]# kubectl delete pod -n kube-system grafana-849f76ddc7-mz4z4
pod "grafana-849f76ddc7-mz4z4" deleted

#过滤出pod之后，进行删除就相当于重启了

image_1de4tooe6n0e1q9o1peg9fn6as9.png-202.2kB

删除完成之后，我们需要测试一下smtp邮箱服务器是否正常

#先查看一下grafana service端口
[root@abcdockergrafana]# kubectl get svc -n kube-system |grep grafana
grafana                NodePort    10.98.192.213            3000:32452/TCP           5d6h
monitoring-grafana     ClusterIP   10.104.104.130           80/TCP                   34d

在任意节点访问ip+32452端口

image_1de5321mp9pf1hbtmnb12ae1cnk13.png-128.1kB