Grok语法 Grok是通过模式匹配的方式来识别日志中的数据,可以把Grok插件简单理解为升级版本的正则表达式.它拥有更多的模式,默认,Logstash拥有120个模式.如果这些模式不满足我们解析日志的需求,我们可以直接使用正则表达式来进行匹配. 官网: https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns grok模式的语法是:%{SYNTAX:SEMANTIC

select * from information_schema.TABLES where information_schema.TABLES.TABLE_SCHEMA='databasename' and information_schema.TABLES.TABLE_NAME='tablename'\G 返回结果: *************************** 1. row *************************** TABLE_CATALOG: def TABLE_S

用过 Solr 的朋友都知道,Solr 可以直接在配置文件中配置数据库连接从而完成索引的同步创建,但是 ElasticSearch 本身并不具备这样的功能,那如何建立索引呢?方法其实很多,可以使用 Java API 的方式建立索引,也可以通过 Logstash 的插件 logstash-input-jdbc 完成,今天来探讨下如何使用 logstash-input-jdbc 完成全量同步以及增量同步. 环境 本文以及后续 es 系列文章都基于 5.5.3 这个版本的 elasticsearch

查看所有库的大小 mysql> use information_schema; Database changed mysql> selectconcat(round(sum(DATA_LENGTH/1024/1024),2),'MB') as data from TABLES; +----------+ | data   | +----------+ | 104.21MB | +----------+ 1 row in set (0.11 sec)   查看指定库的大小 mysql> s

1.进去指定schema 数据库(存放了其他的数据库的信息)     mysql> use information_schema; 2.查询所有数据的大小      mysql> select concat(round(sum(DATA_LENGTH/1024/1024),2),'MB') as data from TABLES; 3.查看指定数据库实例的大小,比如说数据库 yoon      mysql> select concat(round(sum(DATA_LENGTH/1024

本文转自:http://blog.sina.com.cn/s/blog_4c197d420101fbl9.html 查看所有库的大小 mysql> use information_schema; Database changed mysql> select concat(round(sum(DATA_LENGTH/1024/1024),2),'MB') as data  from TABLES; +----------+ | data     | +----------+ | 104.21MB

MySQL删除操作其实是假删除 因为近期在重构优化一个业务的时候 发现有一张表(send_log)数据量将近1700W 左右  占用数据大小17G,索引18G左右  而我们的核心应用在使用的时候 会去临时查询这张表 获取一些数据 先不管设计的合不合理吧,因为是维护  不出问题为第一要务 所以想到要物理删除一下表数据  计划把18年1000W左右数据给腾出空间  但运维执行删除操作后  发现情况没有那么理想  行数是少了  但表空间 大小 没降下去 在 InnoDB 中,你的 delete 操作,

基于脚本配置来过滤log信息 除了通过程序实现对log环境的配置之外.log4cplus通过PropertyConfigurator类实现了基于脚本配置的功能.通过 脚本能够完毕对logger.appender和layout的配置.因此能够解决如何输出,输出到哪里的问题.我将在全文的最后 一部分中提到多线程环境中怎样利用脚本配置来配合实现性能測试.本节将重点介绍基脚本实现过滤log信息的功能. 首先简介一下脚本的语法规则: 包含Appender的配置语法和logger的配置语法.当中: 1.Ap

查询MySQL表的大小及索引大小可以通过系统库information_schema中的TABLES表来实现. 该表常用的一些字段: TABLE_SCHEMA:数据库名TABLE_NAME:表名ENGINE:所使用的存储引擎TABLES_ROWS:记录行数DATA_LENGTH:表大小INDEX_LENGTH:索引大小 1.可以查询数据库的数据行数.表空间.索引空间,如下,将[数据库名]替换成你自己的数据库名即可. SELECT TABLE_SCHEMA AS '库名',CONCAT(ROUND(

logstash+ElasticSearch+Kibana VS Splunk 最近帮磊哥移植一套开源的日志管理软件,替代Splunk． Splunk是一个功能强大的日志管理工具,它不仅可以用多种方式来添加日志,生产图形化报表,最厉害的是它的搜索功能 - 被称为“Google for IT”.Splunk有免费和收费版,最主要的差别在于每天的索引容量大小(索引是搜索功能的基础),免费版每天最大为500M.在使用免费版时,如果在 30天之内,有7天的索引数据量超过500M,那么就不可以再搜索了．

大多数ElasticSearch用户在创建索引时通用会问的一个重要问题是:我需要创建多少个分片? 在本文中, 我将介绍在分片分配时的一些权衡以及不同设置带来的性能影响. 如果想搞清晰你的分片策略以及如何优化,请继续往下阅读. 为什么要考虑分片数 分片分配是个很重要的概念, 很多用户对如何分片都有所疑惑, 当然是为了让分配更合理. 在生产环境中, 随着数据集的增长, 不合理的分配策略可能会给系统的扩展带来严重的问题. 同时, 这方面的文档介绍也非常少. 很多用户只想要明确的答案而不仅仅一个数字范围

原文链接: https://www.jianshu.com/p/297e13045605 集群(cluster): 由一个或多个节点组成, 并通过集群名称与其他集群进行区分 节点(node): 单个 ElasticSearch 实例. 通常一个节点运行在一个隔离的容器或虚拟机中 索引(index): 在 ES 中, 索引是一组文档的集合 分片(shard): 因为 ES 是个分布式的搜索引擎, 所以索引通常都会分解成不同部分, 而这些分布在不同节点的数据就是分片. ES自动管理和组织分片, 并在

对于日志或指标(metric)类时序性强的ES索引,因为数据量大,并且写入和查询大多都是近期时间内的数据.我们可以采用hot-warm-cold架构将索引数据切分成hot/warm/cold的索引.hot索引负责最新数据的读写,可使用内存存储:warm索引负责较旧数据的读取,可使用内存或SSD存储:cold索引很少被读取,可使用大容量磁盘存储.随着时间的推移,数据不断从hot索引->warm索引->cold索引迁移.针对不同阶段的索引我们还可以调整索引的主分片数,副本数,单分片的segment

前篇说过,ES可以自动为文档设定索引.但是问题也来了——如果默认设置的索引不是我们想要的,该怎么办呢? 要知道ES这种搜索引擎都是以Index为实际的分区,Index里面包含了不同的类型,不同的类型是逻辑上的分区:每种类型可能包含有相同的字段,如果字段的类型相同还好,如果不同....那就会导致字段的冲突了. 本篇就讲述如何使用REST API以及Logstash设置默认的索引. 更多内容参考:Elasticsearch知识汇总 使用Rest API设置默认的索引 首先先看一下不设置默认索引时,我

--检查索引碎片情况,只能对单个表进行分析. --需要注意块的大小.索引的pctfree的值的大小.rowid的长度的不同,根据不同的情况修改相应的值 select index_name, c.NMB "应有大小", d.SMB "现大小" from (select index_name, round((select num_rows numrows from dba_tables where table_name = upper('tableName') AND

1. MySQL索引实现 在MySQL中,索引属于存储引擎级别的概念,不同存储引擎对索引的实现方式是不同的,下面主要讨论MyISAM和InnoDB两个存储引擎的索引实现方式. MyISAM索引实现 MyISAM引擎使用B+Tree作为索引结构,叶节点的data域存放的是数据记录的地址.下图是MyISAM索引的原理图: 图1 这里设表一共有三列,假设我们以Col1为主键,则图1是一个MyISAM表的主索引(Primary key)示意.可以看出MyISAM的索引文件仅仅保存数据记录的地址.在MyI

Solr4.8.0源码分析(10)之Lucene的索引文件(3) 1. .si文件 .si文件存储了段的元数据,主要涉及SegmentInfoFormat.java和Segmentinfo.java这两个文件.由于本文介绍的Solr4.8.0,所以对应的是SegmentInfoFormat的子类Lucene46SegmentInfoFormat. 首先来看下.si文件的格式 头部(header) 版本(SegVersion) doc个数(SegSize) 是否符合文档格式(IsCompoundF

摘要:本文对B树索引的结构.内部管理等方面做了一个全面的介绍.同时深入探讨了一些与B树索引有关的广为流传的说法,比如删除记录对索引的影响,定期重建索引能解决许多性能问题等. 1.B树索引的相关概念 索引与表一样,也属于段(segment)的一种.里面存放了用户的数据,跟表一样需要占用磁盘空间.只 不过,在索引里的数据存放形式与表里的数据存放形式非常的不一样.在理解索引时,可以想象一本书,其中书的内容就相当于表里的数据,而书前面的目录就相当于该表的索引.同时,通常情况下,索引所占用的磁盘空间要比表

在创建索引时,我们往往希望可以预估索引大小,以评估对现有project环境的影响,我们也希望创建索引的过程可以最小化的影响我们正在执行的project环境,并能查看索引的状况. 预估索引大小 预估索引大小,最好的办法是在測试环境中创建它,測试环境最好包括完整的project环境数据,否则仅仅有通过部分数据来推算完整的索引大小. 假设不能搭建測试环境,Oracle提供了存储过程DBMS_SPACE.CREATE_INDEX_COST来估算索引的大小,以下是一个样例: declare used_by

ES索引优化篇主要从两个方面解决问题,一是索引数据过程:二是检索过程.  索引数据过程我在上面几篇文章中有提到怎么创建索引和导入数据,但是大家可能会遇到索引数据比较慢的过程.其实明白索引的原理就可以有针对性的进行优化.ES索引的过程到相对Lucene的索引过程多了分布式数据的扩展,而这ES主要是用tranlog进行各节点之间的数据平衡.所以从上我可以通过索引的settings进行第一优化:  1 "index.translog.flush_threshold_ops": "1

MYSQL支持的索引类型 BTREE索引 特点: 通过引用以B+权的结构存储数据 能够加快数据的查询速度 更适合进行范围查找 应用: 全值匹配的查询 = 匹配最左前缀的查询 匹配列前缀查询 LIKE 'XX%' 匹配范围值的查询 精确匹配左前列并范围匹配另外一列 只访问索引的查询 使用限制: 如果不是按照索引最左列查找,则无法使用索引 使用索引时不能跳过索引中的列,否则只能部分使用或不能使用 NOT IN 和 <> 操作无法使用索引 如果查询中有某个列的范围查询,则其右边所有列都无法使用索引