本文作者:七牛云布道师@陈爱珍,DBAPlus社群联合发起人.前新炬技术专家.多年企业级系统的应用运维及分布式系统实战经验.现专注于容器.微服务及DevOps落地的研究与实践. 安装过程 三个都直接下载镜像启动容器 cadvisor:数据采集 Influxdb:数据存储 grafana:数据展示 启动influxdb容器 docker run -d -p 8083:8083 -p 8086:8086 --expose 8090 --expose 8099 --name influxsrv tut…

导读 Grafana 是一个有着丰富指标的开源控制面板.在可视化大规模测量数据的时候是非常有用的.根据不同的指标数据,它提供了一个强大.优雅的来创建.分享和浏览数据的方式. 它提供了丰富多样.灵活的图形选项.此外,针对数据源,它支持许多不同的存储后端.每个数据源都有针对特定数据源的特性和功能所定制的查询编辑器.Grafana 提供了对下述数据源的正式支持:Graphite.InfluxDB.OpenTSDB. Prometheus.Elasticsearch 和 Cloudwatch. 每个数据…

metrics+grafana elk 这两套系统居家旅游必备啊…

脚本文件: #!/usr/bin/env python import datetime import time import urllib import json import urllib2 import os import sys # ElasticSearch Cluster to Monitor elasticServer = os.environ.get('ES_METRICS_CLUSTER_URL', 'http://10.80.2.83:9200') interval = 60…

1.安装平台 1).grafana , 访问各类数据源 , 自定义报表.显示图表等等 , 用于提供界面监控 , 默认端口为3000 , 默认登陆信息admin wget https://grafanarel.s3.amazonaws.com/builds/grafana-3.1.1-1470047149.x86_64.rpm yum install initscripts fontconfig -y rpm -ivh grafana--.x86_64.rpm systemctl start gr…

前言: 做运维的很重要的基础工作就是监控,之前都是统计数据入库,然后前端js图表插件出图,费时费力,可定制性差 前几天接触到了ELK(logstash, elasticsearch, kibana)这套日志收集展示工具集,的确很方便,但是手头没有那么大的存储啊 也不是所有的日志数据都需要,然后就发现了grafana + influxdb的解决方案 简介: 先给出这两个工具的官网 http://grafana.org/ http://influxdb.com/ 建议各位看官先大体浏览下这两个工具的…

阅读目录 1. 安装InfluxDB 2. 安装Grafana 3. 配置Jmeter 序章 前几天在群里看到大神们在讨论Jmeter + InfluxDB + Grafana监控.说起来Jmeter原生的监控确实太丑了.当年不断安慰自己说"丑一点没关系,只要能用,好用,就行了!".但是内心并不是这样,做为一名测试人员,都有一颗精益求精的心.看到有东西可以替代那原生的监控数据,果断亲自动手部署了一套. 是吧,很帅吧!数据是用InfluxDB来存储的,展示则是用Grafana来展示的 I…

阅读目录: 1. 关闭防火墙 2. 安装Zabbix下载源 3. ZabbixClient  --- 安装zabbix-agent代理 4. ZabbixServer --- 安装zabbix-server服务 5. ZabbixServer --- 配置zabbix-server的数据库 6. ZabbixServer --- 配置zabbix-server的服务参数 7. ZabbixServer --- 使用zabbix-server 8. 登录Zabbix的Web端 9. 在Web配置z…

OS:MAC 10.11查看测试线运行demo请访问http://10.103.13.101:3000/dashboard/db/graphite-carbon-metrics?editorTab=Options 1 grafana 1)安装文档:    http://docs.grafana.org/installation/mac/    https://segmentfault.com/a/1190000000693520 2)运行service:brew service start gr…

近些年随着DevOps概念越来越收到重视,除了传统的Splunk,Zabbix外在开源领域也有越来越多的软件可供使用.从数据收集,时序数据库,图形展示等主要方面有各类可扩展的软件用于搭建一个数据监控平台(详细列表),Logstash+elasticsearch+kibana算是被写的比较多的,本文将偏重于业务数据及性能的监控而不是传统的机器参数的监控,所以本文以statsd+graphite+grafana在centos6上的安装配置为例. 三个组件的说明(https://blog.pkhamr…

grafana依赖mysql存储数据,首先需要安装mysql 安装mysql 解压 # groupadd mysql # useradd -s /sbin/nologin -g mysql mysql # tar xf mysql-.tar.gz -C /usr/local/src/ 编译参数 # cmake \ -DCMAKE_INSTALL_PREFIX=/usr/local/app/mysql- \ -DMYSQL_DATADIR=/data/mysql \ -DMYSQL_UNIX_AD…

由于 Grafana 是存静态的,你只需要下载源代码解压,将它部署在 Nginx 上面就可以了,或者可以用 Python 的 SimpleHTTPServer 来跑 $ wget http://grafanarel.s3.amazonaws.com/grafana-1.9.1.tar.gz $ tar zxf grafana-.tar.gz $ cd grafana- $ python -m SimpleHTTPServer Serving HTTP on ... 效果如图: 安装influxd…

想打造 New Relic 那样漂亮的实时监控系统我们只需要 InfluxDB/collectd/Grafana 这三个工具,这三个工具的关系是这样的: 采集数据(collectd)-> 存储数据(InfluxDB) -> 显示数据(Grafana). InfluxDB 是 Go 语言开发的一个开源分布式时序数据库,非常适合存储指标.事件.分析等数据,看版本号(v0.8.8)就知道这个项目还很年轻: collectd 就不用介绍了吧,C 语言写的一个系统性能采集工具: Grafana 是纯 J…

一.配置文件位置 /usr/local/opt/grafana/share/grafana/default.ini /usr/local/etc/grafana/grafana.ini 二.init格式 1.注释: 以";"开头,不管多长或多短,独占一行 三.配置文件调用顺序 1.grafana启动时,首先会调用/usr/local/opt/grafana/share/grafana/default.ini(定义了默认的启动信息) 2.之后会调用我们写的--config所指向的配置文件…

组件介绍: carbon:Carbon实际上是一系列守护进程,组成一个Graphite安装的存储后端.这些守护进程用一个名为Twisted的事件驱动网络引擎监听时间序列数据.Twisted框架让Carbon守护进程能够以很低的开销处理大量的客户端和流量. whisper:whisper是一个用于存储时间序列数据的数据库,之后应用程序可以用create,update和fetch操作获取并操作这些数据. graphite-web:用于从whisper查询数据,并展示在图表上,并且维护了一个数据库SQ…

本文主要讲述如何利用JMeter监听器Backend Listener,配合使用InfluxDB+Grafana展示实时性能测试数据 关于JMeter实时测试数据 JMeter从2.11版本开始,命令行模式下执行测试的时候会有summary的实时结果输出: 在进行长时间的测试后,这个信息会越来越多,而且这些数据在测试完成之后进行读取和分析也很不直观,如果能有一个实时的图形结果来展示这些测试数据(不用等到测试完成后在JMeter里面创建图形查看),对执行测试的测试人员来说,这样的实时图形(对整个测…

一.Docker 监控方式 1.利用docker 的 docker stats API 命令: docker stats [容器ID/容器名称] [root@docker ~]# docker stats --help Usage: docker stats [OPTIONS] [CONTAINER...] Display a live stream of container(s) resource usage statistics -a, --all Show all containers (…

一.Docker 容器监控报警方式 接着上篇文章的记录,看到grafana的版本已经更新到4.2了,并且在4.0以后的版本中,加入了Alert Notifications 功能,这样在对容器 监控完,可以加入报警规则.根据官网介绍,报警方式也有很多种,常见的Email.Slack即时通讯.webhook等. 本篇记录的是邮件的报警设置.环境和上篇基本一致,都是在Docker 平台测试环境下,另外本篇使用的grafana容器的版本是用的 dockerhub上最新版本,该版本为grafana/gra…

1.prometheus安装 wget https://github.com/prometheus/prometheus/releases/download/v1.5.2/prometheus-1.5.2.linux-amd64.tar.gz .linux-amd64. cd /opt/prometheus mv prometheus.yml prometheus.yml-bak # vi prometheus.yml global: scrape_interval: 10s evaluatio…

Grafana默认使用SQLite存储数据表,默认数据库文件存储在/var/lib/grafana/grafana.db中,可以将文件拷贝到Widnows中,使用Navicat for SQLite进行查看. Grafana的数据表结构很少,只有如下几张表: 其中比较关键的几张表结构是: 1.dashboard和data_source都属于某个组织(org) 2.可以为dashboard设置标签(dashboard_tag) 3.dashboard中的data字段,存储了定制完后的图表JSON串…

Grafana中通过设置不同的组织,以及将用户分配到不同组织,来做到多租户,类似门户的概念. Grafana默认是不允许非管理员用户创建新的组织的,这个可以通过修改配置文件以允许非管理员用户创建组织: 下面演示下怎么新建组织,以及将组织和用户进行关联: 点击上图中的“New organization”,我们可以看到“多组织常用于多租户部署”,如下所示 输入组织名,点击“Create”,创建完组织后,可以为组织选择不同的用户: 除此之外,也可以在全局用户界面,为用户添加不同的组织: 经过上面的操作…

在centos6.5上influxdb + Grafana监控平台配置: 1.RedHat and CentOS users can install the latest stable version of InfluxDB using the yum package #cat <<EOF | sudo tee /etc/yum.repos.d/influxdb.repo [influxdb] name = InfluxDB Repository - RHEL \$releasever bas…

操作Grafana时,有时不小心按了"CTRL+Z",会导致整个Dashboard出错,如下所示: 目前找到一个解决方案,也许不是正路,但是能解决上述问题,如果有了更简单有效的解决方案,还望告知: 一.导出整个Dashboard 二.修改时间范围 打开导出的json文件,找到如下几行: "time": { "from": null, "to": null }, 修改为: "time": { "fr…

Grafana提供的Repeate Panel功能,可以快速定义一类相同的面板. 一.定义模板变量 点击"设置"."模板",如下所示: 设置模板变量名称.类型.显示文本,以及是否隐藏 Query部分是关键点,要选择对应的数据源,以及从那张表中查询数据,比如: SHOW TAG VALUES FROM "MonitorAgentCounter" WITH KEY = "AppNode" WHERE AppNode !~ /T-B…

1 什么是 Kubernetes? Kubernetes 是 Google 开源的容器集群管理系统,其管理操作包括部署,调度和节点集群间扩展等. 如下图所示为目前 Kubernetes 的架构图,由 master 和 node 端构成,调度部署和扩展由 master 发起,node 协助 master 实现这些功能.  使用 Kubernetes 可以做到: 自动化容器的部署和复制:随时扩展或收缩容器规模:将容器组织成组,并且提供容器间的负载均衡:提供容器弹性,如果容器失效就替换它等等. 2 P…

搭建了Nginx集群后,需要继续深入研究的就是日常Nginx监控. Nginx如何监控?相信百度就可以找到:nginx-status 通过Nginx-status,实时获取到Nginx监控数据后,如何和现有监控系统集成?一个很好的解决方案: Nginx+Telegraf+Influxdb+Grafana 即通过Telegraf监控插件定时收集Nginx的监控状态,存储到时序数据库Influxdb中,然后通过Grafana展现即可. 一.Nginx启用nginx-status功能 源码编译安装的n…

介绍 钉钉,阿里巴巴出品,专为中国企业打造的免费智能移动办公平台,含PC版,Web版和手机版.智能办公电话,消息已读未读,DING消息任务管理,让沟通更高效:移动办公考勤,签到,审批,企业邮箱,企业网盘,企业通讯录,让工作更简单:酷公司,用钉钉,随时随地移动办公. 由于目前的版本邮件警报暂时走不通,然而钉钉也是一个不错的选择. 配置 下载钉钉:钉钉 自定义机器人:机器人 后台新增钉钉报警: 保存以后发送测试. 报警 目前只有Graph支持报警功能,所以我们选择Graph相关图表. 我们切换到前面…

架构 grafana和prometheus之前安装配置过,见:Grafana+Prometheus打造全方位立体监控系统 MySql安装 MySql的地位和重要性就不言而喻了,作为开源产品深受广大中小企业以及互联网企业喜爱,所以这里我们也有必要对其进行相应的监控. 由于最近更换了CentOS7,这里对MySql重新安装一遍,顺便做个记录,CentOS7的yum源中默认好像是没有mysql的.为了解决这个问题,我们要先下载mysql的repo源. 列出所有版本信息: lsb_release -a…

前言 前一段时间使用SpringBoot创建了一个webhook项目,由于近期项目中也使用了不少SpringBoot相关的项目,趁着周末,配置一下使用prometheus监控微服务Springboot. 项目配置 引入坐标 <!-- Exposition spring_boot --> <dependency> <groupId>io.prometheus</groupId> <artifactId>simpleclient_spring_boo…

概述 Webhook是一个API概念,并且变得越来越流行.我们能用事件描述的事物越多,webhook的作用范围也就越大.Webhook作为一个轻量的事件处理应用,正变得越来越有用. 准确的说webhoo是一种web回调或者http的push API,是向APP或者其他应用提供实时信息的一种方式.Webhook在数据产生时立即发送数据,也就是你能实时收到数据.这一种不同于典型的API,需要用了实时性需要足够快的轮询.这无论是对生产还是对消费者都是高效的,唯一的缺点是初始建立困难. Webhook有…