Grafana+prometheus+AlertManager+钉钉机器人
一.Grafana
(1)安装Grafana的Linux环境
在官网下载windows的Grafana的压缩包到指定目录,解压缩Grafana压缩文件到包含当前Grafana版本的文件夹。将该文件夹解压缩到希望Grafana运行的任何位置。进入conf目录中复制一份sample.ini,并将sample.ini改名为custom.ini,打开文件custom.ini中,找到custom.ini中的http_port,将其取消注释(.ini文件中的注释为 ; )端口号默认为3000。
进入到 bin目录下,通过执行 grafana-server.exe中的启动Grafana(最好使用命令行启动),如果需要将Grafana作为windows服务进行,则下载NSSM,具体操作,博客: https://www.jianshu.com/p/41b77a1eb7d3
(2)开始练习操作Grafana
首次进入Grafana的web页面,localhost:3000,默认端口号为3000,端口号可以修改custom.ini中的http,默认登录名密码为:admin/admin,进入后修改密码。
二.操作流程:
1.检查服务器配置一个监控。(监控磁盘是否出问题)
集群由 node_exporter 进行监控内存、cpu、磁盘的情况,可以通过 ps aux | grep node_exporter 来检测是否有node_exporter 进程在运行,如果没有则进行配置。
了解node_exporter的作用:
node-exporter用于采集服务器层面的运行指标,包括机器的loadavg、filesystem、meminfo等基础监控
node-exporter由prometheus官方提供、维护,不会捆绑安装,但基本上是必备的exporter
2.如果没有监控
下载node_exporter
1.将node_exporter安装到linux的/usr/local/node_exporter上
2.$ tar -zxvf 软件压缩包
$ mv 软件名 node_exporter
$ cd node_exporter
$ ./node_exporter & #启动node_exporter
3.访问 ip:9000
prometheus
整个系统以prometheus为核心,primetheus通过集成pushgateway、alertmanager、grafana、node_exporter来进行一系列的架构。下面为整体的架构图:
Alertmanager
- 全局配置(global):用于定义一些全局的公共参数,如全局的SMTP配置,Slack配置等内容;
- 模板(templates):用于定义告警通知时的模板,如HTML模板,邮件模板等;
- 告警路由(route):根据标签匹配,确定当前告警应该如何处理;
- 接收人(receivers):接收人是一个抽象的概念,它可以是一个邮箱也可以是微信,Slack或者Webhook等,接收人一般配合告警路由使用;
- 抑制规则(inhibit_rules):合理设置抑制规则可以减少垃圾告警的产生
钉钉机器人
webhook_configs:
- url: http://------ip----:8080/webhook
监控指标
CPU使用情况
- alert: Bigdata_CPU #告警规则 expr: 100-(avg(irate(node_cpu_seconds_total{ mode= "idle" }[5m])) by(instance)* 100) > 80 for : 1m labels: token: {{ .Values.prometheus.prometheusSpec.externalLabels.env }}-bigdata priority: P0 status: 告警 #告警内容 annotations: content: "大数据告警:IPadress:{{`{{$labels.instance}}`}} CPU使用大于80%(目前使用:{{`{{$value}}`}}%)" title: "大数据告警:CPU使用大于80%(目前使用:{{`{{$value}}`}}%)" |
内存使用情况
- alert: Bigdata_Memory expr: 100 - ((node_memory_MemAvailable_bytes * 100) / node_memory_MemTotal_bytes ) > 80 for : 1m labels: token: {{ .Values.prometheus.prometheusSpec.externalLabels.env }}-bigdata priority: P0 status: 告警 annotations: content: "大数据告警:IPaddress:{{`{{$labels.instance}}`}} 内存使用大于80%(目前使用:{{`{{$value}}`}}%)!" title: "大数据告警:内存使用大于80%(目前使用:{{`{{$value}}`}}%)" |
磁盘使用情况
系统盘
- alert: Bigdata_System_Disk expr: 100 - ((node_filesystem_avail_bytes{ mountpoint= "/" ,fstype!= "rootfs" } * 100) / node_filesystem_size_bytes{ mountpoint= "/" ,fstype!= "rootfs" }) > 90 for : 1m labels: token: {{ .Values.prometheus.prometheusSpec.externalLabels.env }}-bigdata priority: P0 status: 告警 annotations: content: "大数据告警:IPadress:{{`{{$labels.instance}}`}},device:{{`{{$labels.device}}`}},mount:{{`{{$labels.mountpoint}}`}} 磁盘分区使用量大于90%(目前使用:{{`{{$value}}`}}%)!" title: "大数据告警:{{`{{$labels.mountpoint}}`}} 磁盘分区使用大于90%(目前使用:{{`{{$value}}`}}%)" |
数据盘
- alert: Bigdata_Data_Disk expr: 100 - ((node_filesystem_avail_bytes{ device!~ 'rootfs' ,mountpoint=~ "/mnt/.*" } * 100) / node_filesystem_size_bytes{ device!~ 'rootfs' ,mountpoint=~ "/mnt/.*" }) > 80 for : 1m labels: token: {{ .Values.prometheus.prometheusSpec.externalLabels.env }}-bigdata priority: P0 status: 告警 annotations: content: "大数据告警:IPadress:{{`{{$labels.instance}}`}},device:{{`{{$labels.device}}`}},mount:{{`{{$labels.mountpoint}}`}} 磁盘分区使用大于80%(目前使用:{{`{{$value}}`}}%)" title: "大数据告警:{{`{{$labels.mountpoint}}`}} 磁盘分区使用大于80%(目前使用:{{`{{$value}}`}}%)" |
Grafana+prometheus+AlertManager+钉钉机器人的更多相关文章
- Docker+Prometheus+Alertmanager+Webhook钉钉告警
Docker+Prometheus+Alertmanager+Webhook钉钉告警 1.环境部署 1.1 二进制部署 1.2 docker部署 1.2.1 webhook 1.2.2 alertma ...
- 远见而明察近观若明火|Centos7.6环境基于Prometheus和Grafana结合钉钉机器人打造全时监控(预警)Docker容器服务系统
原文转载自「刘悦的技术博客」https://v3u.cn/a_id_181 我们知道,奉行长期主义的网络公司,势必应在软件开发流程管理体系上具备规范意识,即代码提交有CR(CodeReview),功能 ...
- prometheus grafana graylog 钉钉告警 短信告警 电话告警系统 PrometheusAlert
PrometheusAlert 简介 PrometheusAlert是开源的运维告警中心消息转发系统,支持主流的监控系统Prometheus,日志系统Graylog和数据可视化系统Grafana发出的 ...
- Docker系列——Grafana+Prometheus+Node-exporter钉钉推送(四)
近期搭建的服务器监控平台,来进行一个总结.主要分为监控平台的搭建.告警中心的配置以及消息的推送.推送的话,支持多种终端.具体详细可查看之前的博文,在这里罗列下,方便查看. Docker系列--Graf ...
- Prometheus+Grafana+钉钉部署一个单机的MySQL监控告警系统
GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源. GreatSQL是MySQL的国产分支版本,使用上与MySQL一致. 目录 一.Prometheus 二.exporter ...
- Grafana+Prometheus实现Ceph监控和钉钉告警-转载(云栖社区)
获取软件包 最新的软件包获取地址 https://prometheus.io/download/ Prometheus 1.下载Prometheus $ wget https://github.com ...
- 使用 Prometheus Alertmanager 模块发送 Doris 异常信息至钉钉报警群
基础环境 1.Prometheus 版本:2.22.2 下载地址: https://github.com/prometheus/prometheus/releases/download/v2.22.2 ...
- Grafana+Prometheus系统监控之钉钉报警功能
介绍 钉钉,阿里巴巴出品,专为中国企业打造的免费智能移动办公平台,含PC版,Web版和手机版.智能办公电话,消息已读未读,DING消息任务管理,让沟通更高效:移动办公考勤,签到,审批,企业邮箱,企业网 ...
- Prometheus+Altermanager钉钉报警
Prometheus+Altermanager钉钉报警 一.添加钉钉机器人 参考钉钉官方文档:https://ding-doc.dingtalk.com/doc#/serverapi2/qf2nxq ...
随机推荐
- PhastCons | 序列保守性打分
这是一个进化学上的概念,基因组的序列是不断进化而来的,根据45个脊椎动物的基因组序列,通过多重比对,我们就可以知道人类基因组上每个位置的保守性,一些高度保守的区域可以做非常有意思的下游分析. This ...
- 三句话看明白jdk收费吗
对于从oracle下载的jdk8:JDK8u200(含)以下版本不收费. 对于从oracle下载的jdk11:JDK 11.0.0不收费,JDK 11.0.1不收费. 对于openjdk:免费 ——— ...
- Manifest中meta-data扩展元素数据的配置与获取
简介-meta是什么 在AndroidManifest.xml清单文件中 我们有时会看到如下类似的<meta-data ... >元素开始的配置内容: <meta-data andr ...
- node.js GET与POST请求
node.js GET与POST请求 转 http://www.voidcn.com/article/p-ncglaiqx-bdx.html 标签 get post node.js 栏目 Node.j ...
- js---省略花括号{}的几种表达式
在进行js的书写中,对于常见的if,for,while是可以简写,省略花括号{}的: var a = 10,b = 20; /** * if 简写 */ if(a > b) console.lo ...
- JS 生成随机字符串 随机颜色
使用Math.random()生成随机数 0.7489584611780002数字的.toString(n) 将数字转换为 n 进制的字符串 n取值范围(0~36)"0.vbpjw8lipf ...
- Hadoop源码解读系列目录
Hadoop源码解读系列 1.hadoop源码|common模块-configuration详解2.hadoop源码|core模块-序列化与压缩详解3.hadoop源码|core模块-远程调用与NIO ...
- 数学黑洞:卡普雷卡尔常数的php算法实现
首先看一篇文章: 英国广播公司报道,6174乍看没什么奇特之处,但是,自从1949年以来,它一直令数学家.数字控抓狂.痴迷. 不管你挑的四位数是什么,早早晚晚你都会遇到6174:而且,遇到6174就只 ...
- php异常处理小总结
2019年8月23日10:56:31 php很多开发不习惯使用异常处理,因为web开发,重在于快速开发,易用性,高性能,不强调程序健壮性 php的异常使用其实不是太完善,易用性也差点,当然这个对比其他 ...
- 【C/C++开发】C++11的模板类型判断——std::is_same和std::decay
C++11的模板类型判断--std::is_same和std::decay 问题提出:有一个模板函数,函数在处理int型和double型时需要进行特殊的处理,那么怎么在编译期知道传入的参数的数据类型是 ...