需求说明 编写背景 此手册的基础在于对<jmxtrans + influxdb + granafa 监控套件使用手册>的熟悉和使用.本手册仅介绍以下几项: OpenTSDB 的配置安装 对 json 文件的配置使其可以将数据导入OpenTSDB grafana 对OpenTSDB 数据源的看板配置 适用人群 管理层人员 数据部门人员 运维部门人员 其他想要学习此类知识的人员 配置安装 OpenTSDB 简介 OpenTSDB ,可以认为是一个时系列数据(库),它基于HBase存储数据,充分发挥…
需求说明 随着大数据组件的日益完善,需要随时随地保持各个组件的日常运行,对各个组件的监控势在必行.为了减少运维部门的负担,通过筛选,我们使用 jmxtrans + influxdb + granafa 套件对各个组件进行监控. Jmxtrans:JMX可以对外暴露jvm内部的一些指标,但是要获取那些jvm的内部信息,就还需要自己写java程序调用jmx接口去获取数据,并按照某种格式发送到其他地方(如监控程序Graphite,Zabbix等).这时jmxtrans就派上用场了,jmxtrans的作…
最近在搞Kafka集群监控,之前也是看了网上的很多资料.之所以使用jmxtrans+influxdb+grafana是因为界面酷炫,可以定制化,缺点是不能操作Kafka集群,可能需要配合Kafka Manager一起使用. 环境信息 CentOS Linux release 7.6.1810 (Core) jdk1.8.0_201 zookeeper-3.4.14 kafka_2.11-2.2.0 开启Kafka JMX端口 JMX(Java Management Extensions,即Jav…
若主从同步数据库未同步默认的mysql表,则也需要在从库上创建mysql用户mysqld_exporter用来收集监控数据 mysqld_exporter安装部署 这里采取的是mysqld_exporter安装在mysql主机上 cd /usr/local/src wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.13.0/mysqld_exporter-0.13.0.linux-amd64.tar.g…
一.新项目接入 0.官方文档: https://book.open-falcon.org/zh_0_2/usage/getting-started.html 1.联系运维人员确定可以使用监控系统: (1)机器内网ip (2)报警接收人的信息(账户,密码) 2.登陆网页,按照官方文档配置监控项: (1)配置机器组hostgroup (2)配置报警模版templete (3)绑定机器组与报警模版 3.监控类型 (1)日志监控 https://github.com/pengzhong2010/open…
最近自己个人尝试在使用prometheus+grafana监控工作业务上的指标, 但是报警功能还没有实际用上,但是感觉是很好用,写下一些啃prometheus官网文档并且自己用到的一些配置的总结,后续还用到其他东西再更新.如果想深入理解还是请看官方文档(https://prometheus.io/docs/introduction/overview/) 安装 直接在操作系统上安装 略 docker compose version: "3" networks: monitor: driv…
最近在调研canal数据同步系统的监控方案,网上关于jmxtrans+influxdb+grafana监控kafka的文档很多,没有监控canal的.通过几天的摸索,大致明白了来龙去脉.监控流程基本是一样的,只在个别配置的地方稍有差异.记录一下,供别人参考,也顺便总结一下. 监控系统一般分为3部分,数据采集.数据存储.分析展示,分别对应于jmxtrans+influxdb+grafana的一部分 1.下载安装包 1.1 jmxtrans jmxtrans是一个通过jmx采集java应用的数据采集…
名词解释 JMX:Java Management Extensions,用于用于Java程序扩展监控和管理项 GC:Garbage Collection,垃圾收集,垃圾回收机制 指标项来源 主机名 url 192.168.20.10 http://192.168.20.10:60010/jmx 192.168.20.11 http://192.168.20.11:16030/jmx 192.168.20.12 http://192.168.20.12:16030/jmx hbase监控项 Had…
名词解释 JMX:Java Management Extensions,用于用于Java程序扩展监控和管理项 GC:Garbage Collection,垃圾收集,垃圾回收机制 指标项来源 主机名 url 192.168.20.10 http://192.168.20.10:60010/jmx 192.168.20.11 http://192.168.20.11:16030/jmx 192.168.20.12 http://192.168.20.12:16030/jmx hbase监控项 Had…
了解zabbix,有必要了聊一下监控系统相关内容 企业中常用的开源监视系统目前有 cacti.Nagios.Open-Falcon.zabbix.prometheus等 使用监控系统的目的在于 /1.能够及时发现故障.及时处理.降低损失 /2.另一方面降低运维人员的工作量 /3.监控对象几乎涵盖所有服务程序 { 服务器的硬件:CPU使用率 / 负载.内存使用率 / 空闲情况.磁盘使用情况等            服务器性能:带宽 IO.磁盘 IO.进程等      网络服务:不同服务的运行情况等…