Zabbix 历史数据存储到 Elasticsearch Zabbix 3.4.6 版本开始支持历史数据存储到 Elasticsearch, 早就想测试这个功能,最近有个需求需保存 zabbix 的历史数据上达十亿条,因此决定测试这功能的实用性,事实证明确实效果挺好.从今以后 zabbix 也支持大量的历史数据. 安装 elasticsearch 这里就不说明安装教程了,详情请参考以前的教程 添加 Elasticsearch mapping Elasticsearch 支持 Zabbix 的监控…

基本配置项 https://www.jianshu.com/p/bffca8128e8f 官方说这个实验性的功能支持es的版本是5.0.x - > 6.1.x,如果使用早期或更高版本的Elasticsearch,某些功能可能无法按预期工作. 测试环境的es版本是6.2.4,zabbix为4.0,也能完成zabbix的历史数据对接. 在zabbix server端配置historystorageurl为es数据库的url,同时在zabbix.conf.php中配值es的相关配置,zabbix历史数…

一.简介 Zabbix 3.4.6 版本开始支持历史数据存储到 Elasticsearch, 早就想测试这个功能,最近有个需求需保存 zabbix 的历史数据上达十亿条,因此决定测试这功能的实用性,事实证明确实效果挺好.从今以后 zabbix 也支持大量的历史数据. 二.安装 ELK(这里不再讲解,不懂的可以参考:https://www.cnblogs.com/liugp/p/11789933.html) 三.添加 Elasticsearch mapping Elasticsearch 支持 Z…

zabbix历史数据相关表研究 history和trends相关表 history和trends都是存储历史数据的地方.一般是通过监控项(item)配置里.匹配更新监控项(item)和设置HouseKeeper tasks来设置保留数据的时长. Housekeeper 会定期删除过期的数据.如果不是特别有意义,建议你把保留时间设置短一些, 如果想看以前的数 据图怎么办?这里趋势数据就派上用场了,一般只要小时平均即可这样话趋势据保留久一点即可,趋势数据的计算源数据来自history表.如果将his…

CSSDesk body { background-color: #2574b0; } /*! zybuluo */ article,aside,details,figcaption,figure,footer,header,hgroup,nav,section{display:block}audio,canvas,video{display:inline-block;*display:inline;*zoom:1}audio:not([controls]){display:none}html{…

http://www.cnblogs.com/wgp13x/p/4934521.html 内容一样,样式好的版本. 使用Hive或Impala执行SQL语句,对存储在Elasticsearch中的数据操作 标签: Hive Impala Elasticsearch Hadoop SQL Elasticsearch for Apache Hadoop [TOC] 摘要: 使用Elasticsearch-SQL可以对存储在Elasticsearch中的数据执行简单的SQL查询操作,然而并不支持多表j…

文章目录 1. 版本须知 2. 环境依赖 3. 数据源 3.1. 方案一 使用 Spring Boot 默认配置 3.2. 方案二 手动创建 4. 业务操作5. 总结 4.1. 实体对象 4.2. DAO相关 4.3. Service相关 4.4. Controller相关 6. 源代码 本文讲解Spring Boot基础下,如何使用 ElasticSearch,实现全文搜索. 版本须知 spring data elasticSearch 的版本与Spring boot.Elasticsearc…

服务追踪数据使用 RabbitMQ 进行采集 + 数据存储使用 Elasticsearch + 数据展示使用 Kibana https://www.cnblogs.com/xishuai/p/elk-elasticsearch-kibana.html 阅读目录: ELK Stack 简介 环境准备 安装 Elasticsearch 安装 Kibana Kibana 使用 Elasticsearch 命令 最近在开发分布式服务追踪,使用 Spring Cloud Sleuth Zipkin + S…

一.zabbix数据库 zabbix-server将采集到的数据存储在数据库中,最常用的Mysql,数据存储的大小和每秒处理的数据量有关,数据存储取决于每秒处理的数据量和Housekeeper的删除数据. zabbix-server讲采集到的数据主要存储在History和Trends表中 History表主要存储收集到的历史数据,而Trends主要存储经过计算的历史数据,如每小时数据的最小值.最大值和平均值. 对于超过期限的数据,zabbix用Housekeeper进程进行数据清理,其原理主要是…

zabbix 由于历史数据过大, 因此导致磁盘空间暴涨,  下面是结局方法步骤 1. 停止 ZABBIX SERER 操作 [root@gd02-qa-plxt2-nodomain-web-95 ~]# killall zabbix_server[root@gd02-qa-plxt2-nodomain-web-95 ~]# lsof -i:10051 2. 停止 mysql 操作 [root@gd02-qa-plxt2-nodomain-web-96 dbdat]# mysqladmin -u…

特别提醒: a.文中测试的Zabbix版本为 3.0.3 . b.清理数据属于高危操作,请在测试环境中验证后再执行线上操作!!! 1.统计数据库中每个表所占的空间: mysql> SELECT table_name AS "Tables", round(((data_length + index_length) / 1024 / 1024), 2) "Size in MB" FROM information_schema.TABLES WHERE table_…

该篇博客主要是java代码,如需相应脚本及java连接elasticsearch工具类代码,请移步到上一篇博客(https://www.cnblogs.com/chenyuanbo/p/9973685.html) 一.创建连接执行Linux脚本工具类 package com.yjlc.platform.utils.Elasticsearch; import ch.ethz.ssh2.Connection; import ch.ethz.ssh2.StreamGobbler; import jav…

1 基本认识 1.1 history zabbix默认每分钟采集一次item的数据,然后会存入history表中.主机越多,需要采集的item值就越多,history表的增长速度就越快. 在history表中,每一个item有一个id,然后每条数据会记录时间戳和值.通过联合查询items和hosts表,可以对应给对应的主机. 以下历史实时绘图数据就是从history表中获取的. 这是一个测试用的zabbix,只有几台主机和两个mysql,并且只运行了几天,可见,history表已有32万条数据.…

[From] http://www.tuicool.com/articles/JBvQrmj 本文讲解Spring Boot基础下,如何使用 ElasticSearch,实现全文搜索. 版本须知 spring data elasticSearch 的版本与Spring boot.Elasticsearch版本需要匹配. Spring Boot Version (x) Spring Data Elasticsearch Version (y) Elasticsearch Version (z) x…

#这种方法会出现 监控项不可用的情况 1.停掉zabbix_server 2.重重名表 RENAME TABLE history to history_20180117; RENAME TABLE history_uint to history_uint_20180117; RENAME TABLE history_str to history_str_20180117; RENAME TABLE history_text to history_text_20180117; RENAME TAB…

Blog:博客园 个人 在使用Zabbix过程中,正确的调整Zabbix系统,使之保持高性能是非常重要的,能够充分利用硬件资源,监控更多主机和性能指标. 硬件 关于zabbix server端硬件的建议: 处理器:使用最新稳定的处理器,一般同级别的处理器,新一代的往往比上一代的性能更强.功耗更低: 磁盘:建议固态硬盘,或者不低于10K RPM的机械硬盘,建议做RAID: 内存:通常建议不低于8G,若监控主机超过1000台,建议配置更高的内存: 网卡:建议至少千兆网卡: 官网硬件配置参考: 规模…

剖析Elasticsearch集群系列涵盖了当今最流行的分布式搜索引擎Elasticsearch的底层架构和原型实例. 本文是这个系列的第一篇,在本文中,我们将讨论的Elasticsearch的底层存储模型及CRUD(创建.读取.更新和删除)操作的工作原理. Elasticsearch是当今最流行的分布式搜索引擎,GitHub. SalesforceIQ.Netflix等公司将其用于全文检索和分析应用.在Insight,我们用到了Elasticsearch的诸多不同功能,比如: 全文检索 比如找…

转载:http://www.infoq.com/cn/articles/analysis-of-elasticsearch-cluster-part01 1.辨析Elasticsearch的索引与Lucene的索引 Elasticsearch中的索引是组织数据的逻辑空间(就好比数据库).1个Elasticsearch的索引有1个或者多个分片(默认是5个).分片对应实际存储数据的Lucene的索引,分片自身就是一个搜索引擎.每个分片有0或者多个副本(默认是1个).Elasticsearch的索引还…

2018/12/24 14:00:57  zabbix监控运行一段时间以后,会留下大量的历史监控数据,zabbix数据库一直在增大:可能会造成系统性能下降,查看历史数据室查询速度缓慢. zabbix里面最大的表就是history和history_uint两个表,而且zabbix里面的时间是使用的时间戳方式记录,所以可以根据时间戳来删除历史数据 一.关闭zabbix.http服务 pkill -9 zabbix     service httpd stop 二.清理zabbix历史数据 1.查看数…

1,zabbix运行流程 2功能特性 1数据收集 2灵活触发器 3高度可定制告警 4实时绘图功能 5web监控能力 6多种可视化展示 7历史数据存储 8配置容易 9API功能 10.................................... 3 zabbix-get的简单介绍 zabbix-get是zabbix的一个agent端的检测程序用于在server端向agent端获取数据,来检测验证agent的配置是否正确. 简单使用如下: zabbix_get [-hV] -s <host…

在知道zabbix是什么之后,我们最关心的是zabbix有什么特性,了解特性之后,我们才能决定是否会使用zabbix,以及zabbix是否适合我们. 概述 Zabbix是一个高度集成的网络监控套件,通过一个软件包即可提供如下特性 数据收集 可用性及性能检测 支持SNMP(trapping及polling).IPMI.JMX监控 自定义检测 自定义间隔收集收据 server/proxy/agents吸能 灵活的阀值定义 允许灵活地自定义问题阀值,Zabbix中称为触发器(trigger), 存储在…

上一篇我已经把zabbix server 和zabbix agent 安装在了同一台主机上,现在如何配置zabbix server监控自己. vim /etc/zabbix/zabbix_agentd.conf 编辑agent配置文件. 指定哪些服务器可以来获取数据,可用逗号隔开指定多台服务器. 这个参数表示agent端主动发送数据给哪些服务器端.获取数据有主动和被动两种,第一种是agent主动发送被监控的数据给server,第二种是server去客户端获取,当主机过多时,主动模式可以降低ser…

Zabbix is an enterprise-class open source distributed monitoring solution.[1] Zabbix是一个企业级的.开源的.分布式的监控套件 Zabbix可以监控网络和服务的监控状况. Zabbix利用灵活的告警机制,允许用户对事件发送基于Email的告警. 这样可以保证快速的对问题作出相应. Zabbix是零成本的. 因为Zabbix编写和发布基于GPL V2协议. 意味着源代码是免费发布的. Zabbix特性如下[2]: 数…

zabbix java api zabbix官方的api文档地址:https://www.zabbix.com/documentation/3.0/manual/api Zabbix功能 概观 Zabbix是一个高度集成的网络监控解决方案,在单个软件包中提供了多种功能. 数据采集 可用性和性能检查 支持SNMP(捕获和轮询),IPMI,JMX,VMware监控 定制检查 以定制的间隔收集所需的数据 由服务器/代理和代理执行 灵活的阈值定义 您可以定义非常灵活的问题阈值,称为触发器,从后端数据库引…

工作一波停一波起,感觉离开.net好久了. 最近工作中发现服务器监视都是用了zabbix,对于我这类不懂的狠狠弥补了一下知识. 无意发现zabbix带有api,就想开发个工具调用api来着.可是api调用在host.get就卡住了,就是不返回理想结果. 种种结果决定在个人PC上搭建个zabbix调试,然后各种问题就来了. Zabbix安装流程概述 安装Zabbix部署包 安装Mysql数据库 初始化数据库 配置并启动Zabbix Server进程 编辑Zabbix前端的PHP配置 前端Web配置…

zabbix入门知识 zabbix中文手册 https://www.zabbix.com/documentation/3.4/manual/ 1.zabbix介绍 Zabbix 是一个企业级的分布式开源监控方案. Zabbix是一款能够监控各种网络参数以及服务器健康性和完整性的软件. Zabbix使用灵活的通知机制,提供了出色的报告和数据可视化功能 Zabbix支持主动轮询和被动捕获. Zabbix基于Web的前端页面进行访问. Zabbix是免费的. 特点: 数据收集 灵活的阀值定义 高度可配…

什么是时序索引? 其主要特点体现在两个方面, 一存,以时间为轴,数据只有增加,没有变更,并且必须包含timestamp(日期时间,名称随意)字段,其作用和意义要大于数据的id字段,常见的数据比如我们通常要记录的操作日志.用户行为日志.或股市行情数据.服务器CPU.内存.网络的使用率等: 二取,一定是以时间范围为第一过滤条件,然后是其它查询条件,比如近一天.一周.本月等等,然后在这个范围内进行二次过滤,比如性别或地域等,查询结果中比较关注的是每条数据和timestamp字段具体发生的时间点,而非i…

之前在IDC机房线上环境部署了一套ELK日志集中分析系统, 这里简单总结下ELK中Elasticsearch健康状态相关问题, Elasticsearch的索引状态和集群状态传达着不同的意思. 一.  Elasticsearch 集群健康状态一个 Elasticsearch 集群至少包括一个节点和一个索引.或者它 可能有一百个数据节点.三个单独的主节点,以及一小打客户端节点——这些共同操作一千个索引(以及上万个分片).但是不管集群扩展到多大规模,你都会想要一个快速获取集群状态的途径.Cluste…

1. 全局配置 ListenPort ,监听端口 ,取值范围为1024-32767,默认端口10051 SourceIP,外发连接源地址 LogType,日志类型:单独日志文件,系统文件,控制台输出 LogFile,指定单独日志文件 LogFileSize,每个日志文件的大小 DebugLevel,调试信息级别,0-5,默认3,警告级别 PidFile,进程Pid文件存放位置 SocketDir,IPC socket存放目录 DBHost,数据库存储主机地址 DBName,指定数据库名称 DBS…

一.Zabbix简介 Zabbix 是一个企业级的.开源的.分布式的监控套件 Zabbix 可以监控网络和服务的监控状况. Zabbix 利用灵活的告警机制,允许用户对事件发送基于 Email 的告警.这样可以保证快速的对问题作出响应. Zabbix 可以利用存储数据提供杰出的报告及图形化方式. 这一特性将帮助用户完成容量规划. Zabbix 支持 polling 和 trapping 两种方式. 所有的 Zabbix 报告都可以通过配置参数在 WEB 前端进行访问. Web前端将帮助你在任何区…