logstash将redis中的队列中数据发送到influxdb数据库中
通过elk获取到的java jvm中ygc的时间如下:
现在讲ygc字段的值,发送到influxdb中
首先安装logstash的插件
logstash-output-influxdb
安装完成后,查看:
https://www.elastic.co/guide/en/logstash/current/plugins-outputs-influxdb.html#plugins-outputs-influxdb-exclude_fields
http://blog.csdn.net/julykobe/article/details/44002687
http://www.mamicode.com/info-detail-1720352.html
然后配置服务器端的logstash_server.conf文件:
if [type] == "pcweb_gc" {
#stdout{codec => json}
influxdb {
db => "htxk" #influxDB数据库名
host => "192.168.12.244" #influxDB服务地址
port => "" #influxDB端口
user => "admin" #influxDB初始化的用户名
password => "admin" #influxDB初始化的秘密
retention_policy => "default"
measurement => "pcweb_gc"
allow_time_override => true #允许覆盖time事件中的列
coerce_values => {"ygc" => "float"} #转换类型 data_points => { #键/值对的哈希表示要发送到指定数据库的数据
#"client" => "%{client}"
#"request" => "%{request}"
"ygc" => "%{ygc}"
}
}
}
https://www.elastic.co/guide/en/logstash/current/plugins-outputs-influxdb.html#plugins-outputs-influxdb-exclude_fields
查看数据如下:
influxDB名词
- database:数据库;
- measurement:数据库中的表;
- points:表里面的一行数据。
influxDB中独有的一些概念
- time:每条数据记录的时间,也是数据库自动生成的主索引;
- fields:各种记录的值;
- tags:各种有索引的属性。
还有一个重要的名词:series
- measurement:数据库中的表;
删除表:
retention_policy
数据保存策略(retention_policy)
influxDB是没有提供直接删除数据记录的方法,但是提供数据保存策略,主要用于指定数据保留时间,超过指定时间,就删除这部分数据。
创建新的Retention Policies
CREATE RETENTION POLICY "default" ON "htxk" DURATION 30d REPLICATION 1 DEFAULT
查看当前数据库Retention Policies
压测停止后,数据也停止显示:
SELECT mean("ygc") FROM "pcweb_gc" WHERE $timeFilter GROUP BY time(1s) fill(null)
select ygc from pcweb_gc
上面是实时数据:
重点是sql的写法:
SELECT mean("ygc") FROM "pcweb_gc" WHERE $timeFilter GROUP BY time($interval) fill(null)
http://blog.csdn.net/u010185262/article/details/53158786
https://segmentfault.com/a/1190000008838604
http://blog.csdn.net/u010185262/article/details/53158786
https://www.cnblogs.com/shhnwangjian/p/6893862.html
https://www.cnblogs.com/qiniu/p/6182679.html
https://www.jianshu.com/p/d2935e99006e
http://blog.csdn.net/tomorrowmorningj/article/details/65448841
https://www.cnblogs.com/MikeZhang/p/InfluxDB20171229.html
http://blog.csdn.net/u014087707/article/details/52700946
https://www.cnblogs.com/mafeng/p/6848166.html
logstash将redis中的队列中数据发送到influxdb数据库中的更多相关文章
- 怎样把excel的数据导入到sqlserver2000数据库中
在做程序的时候有时需要把excel数据导入到sqlserver2000中,以前没从外部导入过数据,今天刚做了一下导入数据,感觉还是蛮简单的,没做过之前还想着多么的复杂呢,下面就来分享一下我是如何把ex ...
- python 读取SQLServer数据插入到MongoDB数据库中
# -*- coding: utf-8 -*-import pyodbcimport osimport csvimport pymongofrom pymongo import ASCENDING, ...
- 如何将MongoDB数据库的数据迁移到MySQL数据库中
FAQ v2.0终于上线了,断断续续忙了有2个多月.这个项目是我实践的第一个全栈的项目,从需求(后期有产品经理介入)到架构,再到设计(有征询设计师的意见).构建(前端.后台.数据库.服务器部署),也是 ...
- 利用POI工具读取word文档并将数据存储到sqlserver数据库中
今天实现了利用POI工具读取word文档,并将数据存储到sql数据库中,代码如下: package word; import java.io.File; import java.io.FileInpu ...
- 在Winform中直接录入表格数据和在Vue&Elment中直接录入表格数据的比较
一般来说,录入数据的时候,我们都采用在一个窗体界面中,根据不同内容进行录入,但是有时候涉及主从表的数据录入,从表的数据有时候为了录入方便,也会通过表格控件直接录入.在Winform开发的时候,我们很多 ...
- 根据从redis缓存的数据查询出来,在从数据库中取出所有的数据,俩个数据进行比较,去掉重复,剩下库中新插入的数据,取出新数据,然后把redis中的缓存数据清空把从数据库中查出来的所有数据放到redis缓存中
参考代码: public String getNewCenter(HttpServletRequest request,HttpServletResponse resonse){ JSONObject ...
- filebeat收集日志传输到Redis集群,logstash从Redis集群中拉取数据
前提:已配置好Redis集群,并设置的有统一的访问密码 架构是filebeat-->redis集群-->logstash->elasticsearch,需要修改filebeat的输出 ...
- C#-WinForm-ListView-表格式展示数据、如何将数据库中的数据展示到ListView中、如何对选中的项进行修改
在展示数据库中不知道数量的数据时怎么展示最好呢?--表格 ListView - 表格形式展示数据 ListView 常用属性 HeaderStyle - "详细信息"视图中列标头的 ...
- K3中添加的一条新数据,其在数据库中的位置
最近研究将K3系统与生产管理系统结合起来,减少工作量,但如何确定其各自后台数据库的构成,其对应数据各自位于那张表内,总结了一下: 1.从百度搜索,查看表结构,然后找到目标表 另:K3数据库中单独 ...
随机推荐
- 用BAPI_ACC_DOCUMENT_POST过账生成凭证
根据前台需要输入参数,在bapi里面传值,不同业务所需参数不同. dome1: "bapi结构赋值 LOOP AT lt_item INTO lw_item. wa_do ...
- python函数修饰符@的使用
python函数修饰符@的作用是为现有函数增加额外的功能,常用于插入日志.性能测试.事务处理等等. 创建函数修饰符的规则:(1)修饰符是一个函数(2)修饰符取被修饰函数为参数(3)修饰符返回一个新函数 ...
- Saltstack_使用指南08_远程执行-返回程序
1. 主机规划 salt 版本 [root@salt100 ~]# salt --version salt (Oxygen) [root@salt100 ~]# salt-minion --versi ...
- apicloud含有微信支付。支付宝支付和苹果内购的代码
apicloud含有微信支付.支付宝支付和苹果内购的代码 <!DOCTYPE html> <html> <head> <meta charset=" ...
- Windows 跟 Linux 文件共享:Samba 设置
用 Samba 服务器 https://my.oschina.net/u/3783115/blog/1919892?from=timeline https://blog.51cto.com/1372 ...
- Day_03
1.指针基本操作 package main import "fmt" func main() { var a int //每个变量有2层含义:变量的内存,变量的地址 fmt.Pri ...
- 2019 蓝桥杯国赛 B 组模拟赛 题解
标签 ok #include<bits/stdc++.h> using namespace std; /* 求阶乘 去除尾部0 每次求阶乘时:结果去除尾0,并对 1e6取余 */ type ...
- oracle 循环插入数据
参考链接:oracle 行转列 pivot函数基本用法 --建表 --drop table SalesList; create table SalesList( keHu varchar2(20), ...
- MySQL学习笔记6——备份与恢复
备份与恢复 备份与恢复 数据库-->sql:备份 sql-->数据库:恢复 1.数据库导出SQL脚本 >mysqldump -u用户名 -p密码 数据库名>生成的脚本文件路径 ...
- CF343D Water Tree 树链剖分
问题描述 LG-CF343D 题解 树剖,线段树维护0-1序列 yzhang:用珂朵莉树维护多好 \(\mathrm{Code}\) #include<bits/stdc++.h> usi ...