elasticsearch学习笔记——相关插件和使用场景

logstash-input-jdbc学习

　　ES(elasticsearch缩写)的一大优点就是开源，插件众多。所以扩展起来非常的方便，这也造成了它的生态系统越来越强大。这种开源分享的思想真是与天朝格格不入啊。国内的开源社区做了也很长时间，可是也没出现什么拿的出手的东西，可能只还有阿里比较注重分享一些。

　　ES的查询速度非常快，搜索非常快。但是呢，我们的数据还是主要存在传统的关系型数据库中的。有没有什么办法可以将数据库中的数据实时同步到ES中呢。logstash就是这么一个东西。

Logstash 是一个开源的数据收集引擎，它具有备实时数据传输能力。它可以统一过滤来自不同源的数据，并按照开发者的制定的规范输出到目的地。

　　安装好Logstash，再安装好logstash-input-jdbc插件，再安装好mysql-connector-java-6.0.6.jar插件就可以实时将mysql中的数据同步到ES中。安装过程参考：ElasticSearch学习笔记（三）logstash安装和logstash-input-jdbc插件。

　　logstash-input-jdbc可以配置实行增量同步还是实行全量同步，增量同步是基于时间还是基于某一个字段的变化值。可以参考：logstash-input-jdbc 同步原理及相关问题解读。非常方便。

中文分词插件

　　ES上有不少的中文分词插件，能够对存储的数据进行分词，以应对搜索的请求。使用比较广泛的是ik。它的github地址。上面有关于安装，使用的完整介绍。甚至可以使用对于搜索的内容采用不同的分词器，非常的方便。参考。

使用场景

　　何时使用elasticsearch呢？

• 将ES作为后端唯一的存储。优点是简化数据存储的逻辑结构，没有数据同步问题。这种方式比较激进。ES没有事务的机制，对于频繁的更新效率也不好。大型的项目不建议这样做。
• 搜索功能。这也是一个主要的作用。将网站的搜索部分单拿出来，用ES来实现。既提高了搜索的效率，又对原来的数据存储和逻辑机构没有影响。例如对于产品的搜索，站内搜索等。效率非常高。

• 使用elasticsearch和现有的工具相结合。由于ES是开源的，很多工具都可以与ES一起工作，你不必从来开始编码。假设要部署一个大规模的日志框架存储，搜索，并进行分析。处理日志和输出到Elasticsearch，可以用Rsyslog来建立日志，logstash传输日志到ES，搜索和可视化界面分析这些日志，可以使用Kibana。　　

总结

　　以上两篇日志，对于什么是ES，ES的安装，ES的应用场景，ES的相关插件有了一个大概的了解。以后如果工作中涉及到，对于是否选用，如何实施，就不会无所适从。

参考资料：

ElasticSearch学习笔记（三）logstash安装和logstash-input-jdbc插件