elasticsearch-cn-out-of-box

https://github.com/hangxin1940/elasticsearch-cn-out-of-box

为elasticsearch集成一些实用插件以及配置的开箱即用的版本。

======

站点插件:

分词插件

其他插件

为 inquisitor 插件增加自定义分析器的预览等

使用方法

浏览器进入插件 http://localhost:9200/_plugin/oob

elasticsearch.yml

  3. # 集群名
  4. cluster.name: "cn-out-of-box"
  5. # 节点名
  6. node.name: "node1"
  7. # 是否有资格成为主节点
  8. node.master: true
  9. # 是否存储索引数据
  10. node.data: true
  11. # 默认索引分片数
  12. index.number_of_shards: 3
  13. # 默认索引副本数
  14. index.number_of_replicas: 1
  15. # 临时文件存储路路径
  16. #path.work: "/tmp/elasticsearch"
  17. # 日志文件存储路路径
  18. #path.logs:  "/var/log/elasticsearch/logs"
  19. # tcp传输端口
  20. transport.tcp.port: 9300
  21. # 是否压缩tcp传输数据
  22. transport.tcp.compress: true
  23. # http端口
  24. http.port: 9200
  25. # 是否开启http服务
  26. #http.enabled: true
  27. # 是否打开多播发现节点
  28. discovery.zen.ping.multicast.enabled: true
  30. # 慢查询日志参数
  31. #index.search.slowlog.threshold.query.warn: 10s
  32. #index.search.slowlog.threshold.query.info: 5s
  33. #index.search.slowlog.threshold.query.debug: 2s
  34. #index.search.slowlog.threshold.query.trace: 500ms
  36. #index.search.slowlog.threshold.fetch.warn: 1s
  37. #index.search.slowlog.threshold.fetch.info: 800ms
  38. #index.search.slowlog.threshold.fetch.debug: 500ms
  39. #index.search.slowlog.threshold.fetch.trace: 200ms
  41. # 启用jetty插件提供http服务
  42. http.type: com.sonian.elasticsearch.http.jetty.JettyHttpServerTransport
  44. # sonian.elasticsearch.http.jetty:
  45.     # ==== 开启 https
  46.     #ssl_port: 9443
  47.     #config: jetty.xml,jetty-ssl.xml, jetty-gzip.xml
  48.     #keystore_password: "OBF:1nc01vuz1w8f1w1c1rbu1rac1w261w9b1vub1ndq"
  50.     # ==== 开启用户认证
  51.     # config: jetty.xml,jetty-hash-auth.xml,jetty-restrict-all.xml
  53. # 索引配置
  54. index:
  56.   # 分析配置
  57.   analysis:
  59.     # 分词器配置
  60.     tokenizer:
  62.       index_ansj_token:
  63.         type: ansj_index_token
  64.         is_name: false
  65.         is_num: false
  66.         is_quantifier: false
  68.       query_ansj_token:
  69.         type: ansj_query_token
  70.         is_name: false
  71.         is_num: false
  72.         is_quantifier: false
  74. # ======== analysis-pinyin ========
  75.       # 完整拼音
  76.       my_pinyin:
  77.         type: pinyin
  78.         first_letter: prefix
  79.         padding_char: ' '
  81.       # 拼音首字母
  82.       pinyin_first_letter:
  83.         type: pinyin
  84.         first_letter: only
  86. # ======== analysis-mmseg ========
  87.       # 简单正向匹配
  88.       #       example: 一个劲儿的说话
  89.       #       一个
  90.       #       一个劲
  91.       #       一个劲儿
  92.       #       一个劲儿的
  93.       mmseg_simple:
  94.         type: mmseg
  95.         seg_type: simple
  97.       # 匹配出所有的“三个词的词组”
  98.       # 并使用四种规则消歧(最大匹配、最大平均词语长度、词语长度的最小变化率、所有单字词词频的自然对数之和)
  99.       #       example: 研究生命起源
  100.       #       研_究_生
  101.       #       研_究_生命
  102.       #       研究生_命_起源
  103.       #       研究_生命_起源
  104.       mmseg_complex:
  105.         type: mmseg
  106.         seg_type: complex
  108.       # 基于complex的最多分词
  109.       #       example: 中国人民银行
  110.       #       中国|人民|银行
  111.       mmseg_maxword:
  112.         type: mmseg
  113.         seg_type: max_word
  115. # ======== analysis-stconvert ========
  116.       # 简繁转换，只输出繁体
  117.       s2t_convert:
  118.         type: stconvert
  119.         delimiter: ","
  120.         convert_type: s2t
  122.      # 繁简转换，只输出简体
  123.       t2s_convert:
  124.         type: stconvert
  125.         delimiter: ","
  126.         convert_type: t2s
  128.      # 简繁转换，同时输出繁体简体
  129.       s2t_keep_both_convert:
  130.         type: stconvert
  131.         delimiter: ","
  132.         keep_both: 'true'
  133.         convert_type: s2t
  135.      # 繁简转换，同时输出简体繁体
  136.       t2s_keep_both_convert:
  137.         type: stconvert
  138.         delimiter: ","
  139.         keep_both: 'true'
  140.         convert_type: t2s
  142. # ======== analysis-pattern ========
  143.      # 正则，分号分词
  144.       semicolon_spliter:
  145.         type: pattern
  146.         pattern: ";"
  148.      # 正则，%分词
  149.       pct_spliter:
  150.         type: pattern
  151.         pattern: "[%]+"
  153.  # ======== analysis-nGram ========
  154.       # 1~2字为一词
  155.       ngram_1_to_2:
  156.         type: nGram
  157.         min_gram: 1
  158.         max_gram: 2
  160.       # 1~3字为一词
  161.       ngram_1_to_3:
  162.         type: nGram
  163.         min_gram: 1
  164.         max_gram: 3
  166.     # 过滤器配置
  167.     filter:
  169.  # ======== ngram filter ========
  170.       ngram_min_3:
  171.         max_gram: 10
  172.         min_gram: 3
  173.         type: nGram
  174.       ngram_min_2:
  175.         max_gram: 10
  176.         min_gram: 2
  177.         type: nGram
  178.       ngram_min_1:
  179.         max_gram: 10
  180.         min_gram: 1
  181.         type: nGram
  183.  # ======== length filter ========
  184.       min2_length:
  185.         min: 2
  186.         max: 4
  187.         type: length
  188.       min3_length:
  189.         min: 3
  190.         max: 4
  191.         type: length
  193.  # ======== string2int filter ========
  194. #      my_string2int:
  195. #        type: string2int
  196. #        redis_server: 127.0.0.1
  197. #        redis_port: 6379
  198. #        redis_key: index1_type2_name2
  200.  # ======== pinyin filter ========
  201.       pinyin_first_letter:
  202.         type: pinyin
  203.         first_letter: only
  205.     # 分析器配置
  206.     analyzer:
  208.       lowercase_keyword:
  209.         type: custom
  210.         filter:
  211.         - lowercase
  212.         tokenizer: standard
  214.       lowercase_keyword_ngram_min_size1:
  215.         type: custom
  216.         filter:
  217.         - lowercase
  218.         - stop
  219.         - trim
  220.         - unique
  221.         tokenizer: nGram
  223.       lowercase_keyword_ngram_min_size2:
  224.         type: custom
  225.         filter:
  226.         - lowercase
  227.         - min2_length
  228.         - stop
  229.         - trim
  230.         - unique
  231.         tokenizer: nGram
  233.       lowercase_keyword_ngram_min_size3:
  234.         type: custom
  235.         filter:
  236.         - lowercase
  237.         - min3_length
  238.         - stop
  239.         - trim
  240.         - unique
  241.         tokenizer: ngram_1_to_3
  243.       lowercase_keyword_ngram:
  244.         type: custom
  245.         filter:
  246.         - lowercase
  247.         - stop
  248.         - trim
  249.         - unique
  250.         tokenizer: ngram_1_to_3
  252.       lowercase_keyword_without_standard:
  253.         type: custom
  254.         filter:
  255.         - lowercase
  256.         tokenizer: keyword
  258.       lowercase_whitespace:
  259.         type: custom
  260.         filter:
  261.         - lowercase
  262.         tokenizer: whitespace
  264.  # ======== ik  ========
  265.        # ik分词器
  266.       ik:
  267.         alias:
  268.         - ik_analyzer
  269.         type: org.elasticsearch.index.analysis.IkAnalyzerProvider
  271.       # ik智能切分
  272.       ik_max_word:
  273.         type: ik
  274.         use_smart: false
  276.       # ik最细粒度切分
  277.       ik_smart:
  278.         type: ik
  279.         use_smart: true
  281.  # ======== mmseg  ========
  282.        # mmseg分词器
  283.       mmseg:
  284.         alias:
  285.         - mmseg_analyzer
  286.         type: org.elasticsearch.index.analysis.MMsegAnalyzerProvider
  288.       mmseg_maxword:
  289.         type: custom
  290.         filter:
  291.         - lowercase
  292.         tokenizer: mmseg_maxword
  294.       mmseg_complex:
  295.         type: custom
  296.         filter:
  297.         - lowercase
  298.         tokenizer: mmseg_complex
  300.       mmseg_simple:
  301.         type: custom
  302.         filter:
  303.         - lowercase
  304.         tokenizer: mmseg_simple
  306.  # ======== 正则 ========
  307.       comma_spliter:
  308.         type: pattern
  309.         pattern: "[,|\\s]+"
  311.       pct_spliter:
  312.         type: pattern
  313.         pattern: "[%]+"
  315.       custom_snowball_analyzer:
  316.         type: snowball
  317.         language: English
  319.       simple_english_analyzer:
  320.         type: custome
  321.         tokenizer: whitespace
  322.         filter:
  323.         - standard
  324.         - lowercase
  325.         - snowball
  327.       edge_ngram:
  328.         type: custom
  329.         tokenizer: edgeNGram
  330.         filter:
  331.         - lowercase
  333.   # ======== 拼音分析 ========
  334.       pinyin_ngram_analyzer:
  335.         type: custom
  336.         tokenizer: my_pinyin
  337.         filter:
  338.         - lowercase
  339.         - nGram
  340.         - trim
  341.         - unique
  343.   # ======== 拼音首字母分词 ========
  344.       pinyin_first_letter_analyzer:
  345.         type: custom
  346.         tokenizer: pinyin_first_letter
  347.         filter:
  348.         - standard
  349.         - lowercase
  351.    # ======== 拼音首字母分词并过滤 ========
  352.       pinyin_first_letter_keyword_analyzer:
  353.         alias:
  354.         - pinyin_first_letter_analyzer_keyword
  355.         type: custom
  356.         tokenizer: keyword
  357.         filter:
  358.         - pinyin_first_letter
  359.         - lowercase
  361.    # ======== 简繁体 ========
  362.       stconvert:
  363.         alias:
  364.         - st_analyzer
  365.         type: org.elasticsearch.index.analysis.STConvertAnalyzerProvider
  367.       s2t_convert:
  368.         type: stconvert
  369.         delimiter: ","
  370.         convert_type: s2t
  372.       t2s_convert:
  373.         type: stconvert
  374.         delimiter: ","
  375.         convert_type: t2s
  377.       s2t_keep_both_convert:
  378.         type: stconvert
  379.         delimiter: ","
  380.         keep_both: 'true'
  381.         convert_type: s2t
  383.       t2s_keep_both_convert:
  384.         type: stconvert
  385.         delimiter: ","
  386.         keep_both: 'true'
  387.         convert_type: t2s
  389.       #string2int:
  390.         #type: org.elasticsearch.index.analysis.String2IntAnalyzerProvider
  391.         # redis_server: 127.0.0.1
  392.         # redis_port: 6379
  393.         # redis_key: index1_type1_name1
  395.       #custom_string2int:
  396.         #type: custom
  397.         #tokenizer: whitespace
  398.         #filter:
  399.         #- string2int
  400.         #- lowercase
  402.       # 路径分析
  403.       path_analyzer:
  404.         type: custom
  405.         tokenizer: path_hierarchy
  407. # ======== ansj ========
  408.       index_ansj:
  409.         alias:
  410.         - ansj_index_analyzer
  411.         type: ansj_index
  412.         user_path: ansj/user
  413.         ambiguity: ansj/ambiguity.dic
  414.         stop_path: ansj/stopLibrary.dic
  415.         #is_name: false
  416.         # s_num: true
  417.         #is_quantifier: true
  418.         redis: false
  419.           #pool:
  420.             #maxactive: 20
  421.            # maxidle: 10
  422.             #maxwait: 100
  423.             #testonborrow: true
  424.           #ip: 127.0.0.1:6379
  425.           #channel: ansj_term
  427.       query_ansj:
  428.         alias:
  429.         - ansj_query_analyzer
  430.         type: ansj_query
  431.         user_path: ansj/user
  432.         ambiguity: ansj/ambiguity.dic
  433.         stop_path: ansj/stopLibrary.dic
  434.         #is_name: false
  435.         # is_num: true
  436.         # is_quantifier: true
  437.         redis: false
  438.           #pool:
  439.             #maxactive: 20
  440.            # maxidle: 10
  441.             #maxwait: 100
  442.             #testonborrow: true
  443.           #ip: 127.0.0.1:6379
  444.           #channel: ansj_term
  446.       uax_url_email:
  447.         tokenizer: uax_url_email
  448.         filter: [standard, lowercase, stop] 
  450.  # ======== combo ========
  451.       combo:
  452.         type: combo
  453.         sub_analyzers:
  454.          - ansj_index
  455.          - ik_smart
  456.          - mmseg_complex
  457.          - uax_url_email
  458.          - s2t_convert
  459.          - t2s_convert
  460.          - smartcn
  461.          - simple_english_analyzer
  463. # 默认分析器
  464. index.analysis.analyzer.default.type: combo
  465. # 线程池设置
  466. threadpool:
  467.     index:
  468.         type: fixed
  469.         size: 30
  470.         queue: -1
  471.         reject_policy: caller

elasticsearch-cn-out-of-box的更多相关文章

  1. Query DSL for elasticsearch Query

    Query DSL Query DSL (资料来自: http://www.elasticsearch.cn/guide/reference/query-dsl/) http://elasticsea ...

  2. 可以执行全文搜索的原因 Elasticsearch full-text search Kibana RESTful API with JSON over HTTP elasticsearch_action es 模糊查询

    https://www.elastic.co/guide/en/elasticsearch/guide/current/getting-started.html Elasticsearch is a ...

  3. 搜索引擎 ElasticSearch 之 步步为营 【主目录】

    ElasticSearch 是一款著名的分布式搜索引擎框架,采用Java编写.具有搜索速度快,实时搜索等特色. 以下为官网对ElasticSearch的介绍: Elasticsearch 是一款高可伸 ...

  4. 【elasticsearch】python下的使用

    有用链接: 最有用的:http://es.xiaoleilu.com/054_Query_DSL/70_Important_clauses.html 不错的博客:http://www.cnblogs. ...

  5. ElasticSearch学习笔记-01 简介、安装、配置与核心概念

    一.简介 ElasticSearch是一个基于Lucene构建的开源,分布式,RESTful搜索引擎.设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便.支持通过HTTP使用JSON进 ...

  6. ElasticSearch实战使用

    注意:以下命令都是使用sense测试(ElasticSearch第二步-CRUD之Sense),且数据都已经使用过IK分词. 以下测试数据来源于文档(db_test/person) 需要注意的是下面的 ...

  7. Elasticsearch和mysql数据同步（elasticsearch-jdbc）

    1.介绍 对mysql.oracle等数据库数据进行同步到ES有三种做法:一个是通过elasticsearch提供的API进行增删改查,一个就是通过中间件进行数据全量.增量的数据同步,另一个是通过收集 ...

  8. laravel Scout包在elasticsearch中的应用

    laravel Scout包在elasticsearch中的应用 laravel的Scout包是针对自身的Eloquent模型开发的基于驱动的全文检索引擎.意思就是我们可以像使用ORM一样使用检索功能 ...

  9. 搜索引擎solr和elasticsearch

    刚开始接触搜索引擎,网上收集了一些资料,在这里整理了一下分享给大家. 一.关于搜索引擎 搜索引擎(Search Engine)是指根据一定的策略.运用特定的计算机程序从互联网上搜集信息,在对信息进行组 ...

  10. 【转】Elasticsearch学习

    原作者:铭毅天下,原文地址:blog.csdn.net/laoyang360 https://blog.csdn.net/wojiushiwo987/article/details/52244917 ...

随机推荐

  1. 将特定TD颜色改变的两种方法

    方法一:取table值 方法二:使用tbody  

  2. hdu 5101 n集合选2个不同集合数使和大于k

    http://acm.hdu.edu.cn/showproblem.php?pid=5101 给n个集合,选择两个来自不同集合的数,加和大于k,问有多少种选择方案. 答案=从所有数中选择的两个加和大于 ...

  3. C#设计模式——单件模式

    一.为何需要单件模式 需求 我们开发了一个大型的项目,其中存在许多的工具类.但是其中很多的工具类我们并不是经常使用得到,甚至 一次都不会使用.但是这些工具类都是静态的类,会消耗很多的内存,即使一次都不 ...

  4. EmberJs之3W

    写在前面 最近比较忙,换了新工作还要学习很多全新的技术栈,并给自己找了很多借口来不去坚持写博客.常常具有讽刺意味的是,更多剩下的时间并没有利用而更多的是白白浪费,也许这就是青春吧,挥霍吧,这不是我想要 ...

  5. Json.Net4.5 序列化问题

    1.子类序列化 依赖父类属性 [DataContract] public class pcc { [DataMember] public string Name { get; set; } } pub ...

  6. node-webkit教程(11)Platform Service之shell

    node-webkit教程(11)Platform Service之shell 文/玄魂 目录 node-webkit教程(10)Platform Service之shell 前言 11.1  She ...

  7. libevent （二） 接收TCP连接

    libevent 接收TCP连接 Evconnlistener 机制为您提供了侦听和接受传入的 TCP 连接的方法.下面的函数全部包含在`<event2/listener.h>`中. ev ...

  8. [安卓] 7、页面跳转和Intent简单用法

    这里有一个layout资源,2个activity.首先在MainActivity.java中实例化按钮和添加按钮监听绑定都是我们知道的,这里要注意的是第22行Intent intent = new I ...

  9. JAVA通过XPath解析XML性能比较（原创）

    (转载请标明原文地址) 最近在做一个小项目,使用到XML文件解析技术,通过对该技术的了解和使用,总结了以下内容. 1 XML文件解析的4种方法 通常解析XML文件有四种经典的方法.基本的解析方式有两种 ...

  10. C#移除HTML标记

    移除一段文字中的HTML标记,以消除其中包含的样式和段落等,最常用的办法可能就是正则表达式了.但是请注意,正则表达式并不能处理所有的HTML文档,所以有时采用一个迭代的方式会更好,如for循环.看下面 ...