使用ElasticSearch作为大数据平台的实时OLAP框架 – lxw的大数据田地 http://lxw1234.com/archives/2015/12/588.htm 一直想找一个用于大数据平台实时OLAP(甚至是实时计算)的框架,之前调研的Druid(druid.io)太过复杂,整个Druid由5.6个服务组成,而且加载数据也不太方便,性能一般,亦或是我还不太会用它.后来发现使用ElasticSearch就可以满足海量数据实时OLAP的需求. ElasticSearch相信大家都很熟悉…

一.ELK简介 Elk是指logstash,elasticsearch,kibana三件套,我们一般使用它们做日志分析. ELK工作原理图: 简单来讲ELK具体的工作流程就是客户端的logstash agent(shipper)从日志里取出数据推送到服务端的redis里,服务端的logstash从redis里取出数据推送到elasticsearch并产生索引,然后使用Kibana进行页面展示. 二.ELK准备环境配置 1.搭建环境(都是在Centos6.8系统下操作完成):  Ip地址    …

目录 1 Elasticsearch概述 1.1 Elasticsearch是什么 1.2 Elasticsearch的优点 1.3 Elasticsearch的相关产品 1.4 Elasticsearch的使用场景 2 Elasticsearch的功能概述 2.1 分布式的搜索引擎和数据分析引擎 2.2 全文检索 结构化检索 数据分析 2.3 海量数据的近实时处理 3 Elasticsearch的核心概念 3.1 term(索引词) 3.2 text(文本) 3.3 analysis(分析)…

一.简介 ElasticSearch是一个基于Lucene构建的开源,分布式,RESTful搜索引擎.设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便.支持通过HTTP使用JSON进行数据索引. Lucene只是一个框架,要利用它的功能,需要使用JAVA,并且在程序中集成Lucene.更糟的是,Lucene非常复杂,需要做很多的学习了解,才能明白它是如何运行的. Elasticsearch使用Lucene作为内部引擎,但是在使用它做全文搜索时,只需要使用统一开发好的API即可,…

1.首先安装elasticsearch 集群环境,参考 http://www.cnblogs.com/xiaochangwei/p/8033773.html 注意:由于我的代码采用的是springboot 1.5.3 RELEASE版本,请安装elasticsearch 2.0.0以上版本 https://github.com/spring-projects/spring-data-elasticsearch/wiki/Spring-Data-Elasticsearch---Spring-Boo…

开篇来自于经典的“保安的哲学三问”(你是谁,在哪儿,要干嘛) 问题一.ElasticSearch是什么?有什么用处? 答:截至2018年12月28日,从ElasticSearch官网(https://www.elastic.co/cn/products)上,得知:ElasticSearch是基于 JSON 的分布式搜索和分析引擎,专为实现水平扩展.高可靠性和管理便捷性而设计.用于搜索.分析和存储您的数据. 问题二.ElasticSearch的由来? 答:大约在2010年,一个叫Shay Bano…

因公司数据安全和分析的需要,故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用: 安装,配置过程,使用情况等续 一,glusterfs分布式文件系统部署: 说明: 公司想做网站业务日志及系统日志统一收集和管理,经过对mfs, fastdfs 等分布式文件系统的调研,最后选择了 glusterfs,因为Gluster具有高扩展性.高性能.高可用性.可横向扩展的弹性特点,无元数据服务器设计使glust…

1.下载运行Elasticsearch 1.下载解压elasticsearch Elasticsearch官网地址:https://www.elastic.co/ Elasticsearch最新版下载地址:https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html  下载文件elasticsearch-1.7.2.zip到linux或Windows上,解压如下: [lizhiwei@localhost El…

本章内容 Apache Lucene是什么. Lucene的整体架构. 文本分析过程是如何实现的. Apache Lucene的查询语言及其使用方法. ElasticSearch的基本概念. ELasticSearch内部是如何通信的. 1.1 Apache Lucene简介 1.1.2 Lucene的总体架构 Lucene一些概念: 文档(document):索引与搜索的主要数据载体,它包含一个或多个字段,存放将要写入索引或将从索引搜索出来的数据. 字段(field ):文档的一个片段,它包括…

最近在看一套 es 的教学视频,以下笔记主要来自视频资源 Near Realtime(NRT):近实时,先说实时就是数据创建到查询时间在毫秒级或更少: 和实时不一样的是近实时数据在创建到查询最多需要n秒时间,n秒是索引刷新周期(假如设置n为5秒,若你在2秒的时候插入了一条数据,那么你还需要等3秒才能查询到这条数据, 若你在4秒时插入那么你需要再等1秒即可). Ps:因为还没学习到es 的配置不知道n 最小可以设置成多少?值得考虑的是n设置成多少才会对相应的系统更高效? Cluster:集群, e…