Lucene/ElasticSearch 学习系列 (1) 为什么学，学什么，怎么学

为什么学 <What I wish I knew When I was 20>这本书给了我很多启发.作者在书中提到,Stanford 大学培养人才的目标是 ”T形人才“:精通某个领域,但对各个领域都有所涉猎.字母 “T“ 的一竖代表深度,一横代表宽度.具有T型的知识结构是成为企业家的基础.我不禁问自己:我的深度在哪里?宽度在哪里? 作为电子系出身的软件开发者,这一年来我在业余时间也学习了不少东西: 前端开发方面:JS 的几个部分: DOM 和事件机制, CSS 的几个部分:Box Model…

Lucene/ElasticSearch 学习系列 (2) Information Retrival 初步之名词解释

计算机领域一半是理论,一半是在理论基础之上的应用.要想深入地掌握某个方面的应用,就需要先学习那方面的理论. “搜索”是应用,其背后的理论是 "Information Retrieval".学习理论的最佳途径是读该领域的书籍和论文.上一周大概看了<Introduction to Information Retrival>这本书的前面几章,在此简单地总结. 名词解释 Information need 人们为什么要搜索?因为有需求.这种需求被称为“信息需求”.搜索技术正是满足人们…

Elasticsearch学习系列一（部署和配置IK分词器）

Elasticsearch简介 Elasticsearch是什么? Elaticsearch简称为ES,是一个开源的可扩展的分布式的全文检索引擎,它可以近乎实时的存储.检索数据.本身扩展性很好,可扩展到上百台服务器,处理PB级别的数据.ES使用Java开发并使用Lucene作为其核心来实现索引和搜索的功能,但是它通过简单的RestfulAPI和javaAPI来隐藏Lucene的复杂性,从而让全文搜索变得简单. 起源:Shay Banon.2004年失业,陪老婆去伦敦学习厨师.失业在家帮老婆写一个…

Elasticsearch学习系列七（Es分布式集群）

核心概念集群(Cluster) 一个Es集群由多个节点(Node)组成,每个集群都有一个共同的集群名称作为标识节点(Node) 一个Es实例就是一个Node.Es的配置文件中可以通过node.master.node.data来设置节点类型. Es的节点有如下几个类型: 主节点 master节点在每个集群中有且只有一个.master节点应该只承担轻量级的任务:如创建删除索引.分片均衡等 # 设置为true node.master: true # 尽量设置主节点不为数据节点,提⽰效率 node.…

Elasticsearch学习系列之term和match查询

lasticsearch查询模式一种是像传递URL参数一样去传递查询语句,被称为简单查询 GET /library/books/_search //查询index为library,type为books的全部内容 GET /library/books/_search?q=price:10 //查询index为library,type为books中price等于10的另一种是DSL语句来进行查询,被称为DSL查询,term和match就属于DSL term查询 term是代表完全匹配,即不进行分…

Elasticsearch学习系列之term和match查询实例

Elasticsearch查询模式一种是像传递URL参数一样去传递查询语句,被称为简单查询 GET /library/books/_search //查询index为library,type为books的全部内容 GET /library/books/_search?q=price:10 //查询index为library,type为books中price等于10的另一种是DSL语句来进行查询,被称为DSL查询,term和match就属于DSL term查询 term是代表完全匹配,即不进行…

Elasticsearch学习系列之配置文件详解

################################### Cluster ################################### #定义集群名称,默认是elasticsearch cluster.name: elasticsearch #################################### Node ##################################### #定义此节点名称 node.name: "elk001" #此节…

Elasticsearch学习系列之mapping映射

什么是映射为了能够把日期字段处理成日期,把数字字段处理成数字,把字符串字段处理成全文本(Full-text)或精确(Exact-value)的字符串值,Elasticsearch需要知道每个字段里面都包含什么数据类型.这些类型和字段的信息存储在映射中创建索引的时候,可以预先定义字段的类型以及相关属性,相当于定义数据库字段的属性映射的分类静态映射动态映射什么是动态映射文档中碰到一个以前没见过的字段时,动态映射可以自动决定该字段的类型,并对该字段添加映射如何配置动态映射通过dyna…

Elasticsearch学习系列之多文档操作mget

测试数据 GET /library/books/1 { "_index": "library", "_type": "books", "_id": "1", "_version": 1, "found": true, "_source": { "title": "Elasticsearch:the…

Elasticsearch学习系列之单模式下API的增删改查操作

这里我们通过Elasticsearch的marvel插件实现单模式下API的增删改查操作索引的初始化操作创建索引之前可以对索引进行初始化操作,比如先指定shard数量以及replicas的数量代码 PUT http://192.168.2.218:9200/library/ { "settings":{ "index":{ "number_of_shards":5, "number_of_replicas":1 } }…

Elasticsearch学习系列之介绍安装

前言关于ELK搭建的问题,或许你还有些模糊,其实你把我视频里讲的知识点串联起来就明白了.搭建ELK环境,看下面我说的: 首先,先把ES集群搭建起来,建议用CentOS6.5 64位的linux系统,把防火墙和SELinux都关闭,互ping各节点是否网络畅通,注意es新版本2.1.1以上的不会自动发现节点了,得自己设置: 其次,搭建Logstash,用一个节点即可,当然你也可以放在es集群里的任意一个节点上,Logstash是过滤数据用的,所以你得想方法把你要分析的日志传到logstash节点…

Elasticsearch学习系列二（基础操作）

本文将分为3块讲解Es的基础操作.分别为:索引(index).映射(mapping).文档(document). 索引操作创建索引库语法: PUT /索引名称{ "settings":{ "属性名":"属性值" } } settings:就是索引库的设置,可以定义如分片数.副本数等等.不设置的话就是都走默认值. 示例: PUT /test-demo 判断索引是否存在 HEAD /索引名称查看索引查看单个索引 GET /索引名称批量查看索…

Elasticsearch学习系列三（搜索案例实战）

Query DSL Es提供了基于JSON的完整查询DSL(Domain Specific Language 特定域的语言)来定义查询.将查询DSL视为查询的AST(抽象语法树).它由两种子句组成: 叶子查询子句叶子查询子句,在特定域中寻找特定的值,如match.term或range查询复合查询子句复合查询子句包装其他叶子查询或复合查询,并用于以逻辑方式组合多个查询.如bool.dis_max.constant_score查询 1. 查询所有 POST /索引名称/_search { "q…

Elasticsearch学习系列四（聚合搜索）

聚合分析聚合分析是数据库中重要的功能特性,完成对一个查询的集中数据的聚合计算.如:最大值.最小值.求和.平均值等等.对一个数据集求和,算最大最小值等等,在ES中称为指标聚合,而对数据做类似关系型数据库那样的分组(group by),在ES中称为分桶. 语法: aggregations" : { "<aggregation_name>" : {  "<aggregation_type>" : {…

Lucene.net入门学习系列(1)

Lucene.net入门学习系列(1) Lucene.net入门学习系列(1)-分词 Lucene.net入门学习系列(2)-创建索引 Lucene.net入门学习系列(3)-全文检索这几天在公司实习的时候闲的蛋疼,翻了一下以往的教程和博客,看到了Lucene.net.原本想学着写一个系列的博文,由于本人水平有限,一直找不到适合的内容来写,干脆就写一个简单的Lucene.net系列文章吧.希望和大家一起学习,一起进步,有什么写错了或者有什么建议欢迎提出来. 一.引言先说一说什么是Luce…

Lucene.net入门学习系列(2)

Lucene.net入门学习系列(2) Lucene.net入门学习系列(1)-分词 Lucene.net入门学习系列(2)-创建索引 Lucene.net入门学习系列(3)-全文检索在使用Lucene.net进行全文检索之前,需要写入索引,然后对索引进行检索.下面我们来看看如何建立索引. 具体步骤如下: 1.使用FSDirectory类打开一个索引文件 2.使用IndexWriter类写来写索引 3.关闭IndexWriter 1 /// <summary> 2 /// 创建索引 3 //…

ElasticSearch实战系列四: ElasticSearch理论知识介绍

前言在前几篇关于ElasticSearch的文章中,简单的讲了下有关ElasticSearch的一些使用,这篇文章讲一下有关 ElasticSearch的一些理论知识以及自己的一些见解. 虽然本人是一个实战派,不太喜欢讲这些理论知识,因为这块可以查看官方文档,那里会写得非常详细,但是在使用了ElasticSearch之后,发现有的知识点需要掌握一定的理论知识才能理解,对于初学者来说有的不好理解,因此写下该篇文章,希望读者在看完之后能够有所帮助. ElasticSearch 理论知识介绍 Ela…

ElasticSearch实战系列二: ElasticSearch的DSL语句使用教程---图文详解

前言在上一篇中介绍了ElasticSearch集群和kinaba的安装教程,本篇文章就来讲解下 ElasticSearch的DSL语句使用. ElasticSearch DSL 介绍 Elasticsearch提供了基于JSON的完整查询DSL(特定于域的语言)来定义查询.将查询DSL视为查询的AST(抽象语法树),它由两种子句组成: 叶子查询子句: 叶查询子句中寻找一个特定的值在某一特定领域,如 match,term或 range查询.这些查询可以自己使用. 复合查询子句复合查询子句包装其…

EF（Entity Framework）系统学习系列

好久没写博客了,继续开启霸屏模式,好了,废话不多说,这次准备重新系统学一下EF,一个偶然的机会找到了一个学习EF的网站(http://www.entityframeworktutorial.net/).准备按照上面一点一点学,学习之路,贵在坚持,贵在持之以恒,这是我给自己的忠告,我不聪明,但我愿意花比别人更多的时间,来学习,相信总有一天,总会有守得花开见月明的那一天! EF学习系列: 1.基本的EF系列教程 [Basics of Entity Framework][EF基础系列1] EF是啥?[…

MVC学习系列4--@helper辅助方法和用户自定义HTML方法

在HTML Helper,帮助类的帮助下,我们可以动态的创建HTML控件.HTML帮助类是在视图中,用来呈现HTML内容的.HTML帮助类是一个方法,它返回的是string类型的值. HTML帮助类,分成三个类型: Inline HTML helpers[内联的HTML帮助类,例如@Html.Label等] Built-in HTML helpers[也就是嵌套的HTML帮助类,即@helper辅助方法] Custom HTML helpers[自定义的HTML帮助类] 在这里,我们学习第二种,…