Section 7: Analyzing Log Data with the Elastic Stack…

Section 3: Searching with Elasticsearch query with json 分页返回 Sort full text 的内容不能用来sort, 比如movie的 title 如果既要做full-text search, 又要可以被sort, 如下方法可以使得有field title 有两份copy, 一份(text)做full-text search, 一份(keyword)可以被sort 达到上面的效果,要改变schema,所以需要重新mapping. Mor…

Section 1 基本概念: Index(indices) 相当于 关系型数据库的 table, document 相当于关系型数据库的 row,  还有一个type的概念(可以理解为table的schema)是属于 index的,一个index 只能有一种type, ES怎么扩展? 用shards, 一个shard 就是整个文档的一个part, 可以分布在cluster内部的不同机器上 Section 2 Mapping and Indexing Data mapping: field ty…

一.ELK 介绍 ELK 构建在开源基础之上,让您能够安全可靠地获取任何来源.任何格式的数据,并且能够实时地对数据进行搜索.分析和可视化. 最近查看 ELK 官方网站,发现新一代的日志采集器 Filebeat,他是 Beats 家族其中的一员,性能超越 logstash,部署简单,占用资源少,可以很方便的和 logstash,ES 对接. 从官方网站可以看出新一代 ELK 架构如下: 1.Beats Beats 平台集合了多种单一用途数据采集器.这些采集器安装后可用作轻量型代理,从成百上千或成千…

Elastic Stack 开发人员不能登陆线上服务器查看详细日志 各个系统都有日志,日志数据分散难以查找 日志数据量大,查询速度慢,或者数据不够实时 官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 安装指南:https://www.elastic.co/guide/en/elasticsearch/reference/5.x…

Elastic Stack之Redis集群使用 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客数据流走向:FileBeat ===>Redis  ===>logstash ===> elasticsearch.  一.安装Redis服务器 1>.安装repo源 [root@node105 ~]# [root@node105 ~]# yum -y install epel-release Loaded plugins: fastestmirror Loa…

Elastic Stack之FileBeat使用实战 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任.   本篇博客数据流走向:FileBeat ===>logstash ===> elasticsearch.  一.安装FileBeat 1>.选择FileBeat版本(连接地址:https://www.elastic.co/downloads/beats) 2>.选择之前的发行版本 3>.选择FileBeat版本 4>.下载FileBeat(连接地址…

Elastic Stack之Logstash进阶 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.使用GeoLite2和logstash 过滤插件的geoip案例 1>.GeoLite2概述 GeoLite2数据库是免费的IP地理定位数据库,与MaxMind的GeoIP2数据库相当,但不太准确.GeoLite2国家和城市数据库在每个月的第一个星期二更新.GeoLite2 ASN数据库每周二更新一次.官方网址:https://www.maxmind.com/en/home.…

Elastic Stack之搜索引擎基础 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.搜索引擎概述 1>.什么是搜索引擎 搜索引擎(Search Engine)是指根据一定的策略.运用特定的计算机程序从互联网上搜集信息,在对信息进行组织和处理后,为用户提供检索服务,将用户检索相关的信息展示给用户的系统.搜索引擎包括全文索引.目录索引.元搜索引擎.垂直搜索引擎.集合式搜索引擎.门户搜索引擎与免费链接列表等.目前在全球比较出名的2款搜索引擎莫过于Google和baidu啦…

Elastic Stack之ElasticSearch分布式集群二进制方式部署 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 想必大家都知道ELK其实就是Elasticsearch+Logstash+Kibanna.其中的Logstash由于收集日志很占用资源,官方引入了一个新的组建叫做Beats.它以后可能会渠道Logstash,因为Beats是比Logstash更轻量级的日志收集工具.于此同时,该公司还引入了X-pack插件(需要单独安装),可以在安全审计,权限控制,机…