ELK stack:

  1. Lucene:
  2. 	文档:document
  3. 		包含了一个或多个域的容器
  4. 			field:value
  6. 		域:
  7. 			有很多选项
  8. 				索引选项,存储选项,域向量使用选项
  10. 			索引选项用于通过倒排索引来控制文本是否可被搜索:
  11. 				Index:ANALYZED 分析(切词)并单独作为索引项
  12. 				Index.Not_ANALYZED 不分析(不切词),把整个内容当做一个索引项
  13. 				Index.ANYLYZED_NORMS:类似于index:ANALYZED,但不存储token的Norms(加权基准)信息
  14. 				Index.Not_ANALYZED_NORMS:类似于Index:Not_ANALYZED,但不存储值的Norms(加权基准)信息
  15. 				Index.NO:不对此域的值进行索引,因此不能被搜索
  17. 			存储选项:是否需要存储域的真实值
  18. 				title: This is a Notebook.
  20. 				store.YES:存储真实值
  21. 				store.NO:不存储真实值
  23. 			域向量选项用于在搜索期间该文档所有的唯一项都能完全从文档中检索时使用
  25. 		文档和域的加权操作
  27. 			加权计算标准:
  29. 		搜索:
  30. 			查询Lucene索引时,它返回的是一个有序的scoreDOC对象:查询时,Lucene会为每个文档计算出其score
  32. 			API:
  33. 				IndexSearcher:搜索索引入口
  34. 				Query及其子类:
  35. 				QueryParser
  36. 				TopDocs
  37. 				ScoreDoc
  39. 		Lucene的多样化查询:
  40. 			IndexSearcher中的search方法:
  42. 				TermQuery: 对索引中的特定项进行搜索,Term是索引中的最小索引片段,每个term包含了一个域名和一个文本值
  43. 					title:this is a desk
  44. 					owner: Tom Blair
  45. 					description: this is a desk, it's belong to Tom.
  47. 					title: this is a table
  48. 					owner: Clinton
  49. 					description: this is a desk, it's belong to Clinton.
  50. 						This:(1)(2)
  51. 						Desk:(1)
  52. 						table:(2)
  54. 				TermRangeQuery: 在索引中的多个特定项中进行搜索,能搜索指定多个域
  55. 				NumbericRangeQuery:做数值范围搜索
  56. 				PrefixQuery:用于搜索以指定字符串开头的项
  57. 				BooleanQuery:用于实现组合查询:组合逻辑有三种:AND OR NOT
  58. 				PhraseQuery:距离
  59. 				WildcardQuery:通配符
  60. 				FuzzyQuery:模糊查询:levenshtein
  61. ElasticSearch:
  63. 	ES是一个基于Lucene实现的开源,分布式,RestFul的全文本搜索引擎.此外,它还是一个分布式实时文档存储,其中每个文档的每个field均是被索引的数据,且可被搜索.也是一个带实时分析功能的分布式搜索引擎,能够扩展至数以百计的节点实时处理PB级别的数据
  65. 	基本组件:
  67. 		索引(index):文档容器,换句话说,索引是具有类似属性的文档的集合.类似于表.索引名必须使用小写字母
  69. 		类型(type):类型是索引内部的逻辑分区,其意义完全取决于用户需求.一个索引内部可定义一个或多个类型.一般来说,类型就是拥有相同的域的文档的预定义.
  71. 		文档(document):文档是Lucene索引和搜索的原子单位,它包括了一个或多个域,是域的容器.基于json格式表示
  72. 			每个域的组成部分:一个名字,一个或多个值.拥有多个值的域,通常称为多值域
  74. 		映射(mapping):原始内容存储为文档之前需要事先进行分析.例如切词,过滤掉某些词等.映射用于定义此分析机制该如何实现.除此之外,ES还为映射提供了诸如将域中的内容排序等功能
  76. 	ES的集群组件:
  78. 		Cluster:ES的集群标识为集群名称.默认为elasticsearch.节点就是靠此名字来决定加入到哪个集群中.一个节点只能属性于一个集群.
  80. 		Node:运行了单个ES实例的主机即为节点.用于存储数据,参与集群索引及搜索操作.节点的标识靠节点名.
  82. 		Shard:将索引切割成为的物理存储组件.但每一个shard都是一个独立且完整的索引.创建索引时,ES默认将其分割为5个shard,用户也可以按需自定义.创建完成后不可修改.
  84. 			shard有两种类型:primary shard和replica.Replica用于数据冗余及查询时的负载均衡.每个主shard的副本数量可自定义,且可动态修改.
  86. 	ES Cluster工作过程:
  88. 		启动时,通过多播(默认)或单播方式在9300/tcp查找同一集群中的其他节点,并与之建立通信.
  90. 		集群中的所有节点会选举出一个主节点负责管理整个集群状态,以及在集群范围内决定各shards的分布方式.站在用户角度而言,每个节点均可接收并响应用户的各类请求.
  92. 		集群有状态:green,red,yellow
  94. 	JDK:
  95. 		Oracle JDK
  96. 		OpenJDK
  98. 	ES的默认端口:
  99. 		参与集群的事务:9300/tcp
  100. 			transport.tcp.port
  101. 		接收请求:9200/tcp
  102. 			http.port
  104. 	RestFul API:
  105. 		四类API:
  106. 			1.检查集群,节点,索引等监控与否,以及获取其相应状态
  107. 			2.管理集群,节点,索引及原数据
  108. 			3.执行CRUD操作
  109. 			4.执行高级操作,例如paging,filtering等
  111. 		ES访问接口:9200/tcp
  113. 		curl -X <VERB>  '<PROTOCOL>://HOST:PORT/<PATH>?<QUERY_STRING>' -d '<BODY>'
  115. 			VERB:GET PUT DELETE等
  116. 			PROTOCOL: http https
  117. 			QUERY_STRING:查询参数,例如?pretty表示用易读的JSON格式输出
  118. 			BODY:请求的主体

回顾:搜索引擎和ES

搜索引擎:

索引组件,搜索组件

  1. 	索引:倒排索引
  3. 	索引组件:Lucene
  4. 	搜索组件:ES
  6. 	数据获取组件:solr,Nutch,Grub,Apeture
  7. ES:
  8. 	索引(index),类型(type),文件(document),映射(mapping)
  10. 	集群(cluster),节点(node),shard(primary,replica)
  11. 		9300/tcp
  13. 		每个索引的分片数量: 5
  14. 		每个分片也应该会有副本: 1
  16. 	jvm: oracle jdk,openjdk
  18. 	用户访问接口:9200/tcp
  20. 	restful:
  21. 		API
  23. 	curl -X<VERB> 'PROTOCOL://HOST:PORT/<PATH>?QUERY_STRING' -D '<BODY>'
  25. _cat API:

ELK stack(2)

  1. Cluster APIs:
  2. 	health:
  3. 		curl -XGET 'http://172.16.100.67:9200/_cluster/health?pretty'
  4. 	state:
  5. 		curl -XGET 'http://172.16.100.67:9200/_cluster/state/<metrics>?pretty'
  6. 	stats:
  7. 		curl -XGET 'http://172.16.100.67:9200/_cluster/stats'
  8. 		节点状态:
  9. 			curl -XGET 'http://172.16.100.67:9200/_nodes/stats'
  11. Plugins:
  13. 	插件扩展ES的功能:
  14. 		添加自定义的映射类型,自定义分析器,本地脚本,自定义发现方式
  16. 	安装:
  17. 		直接将插件放置于plugins目录中即可
  18. 		使用plugin脚本进行安装
  20. 			/usr/share/elasticsearch/bin/plugin -h
  21. 				-l
  22. 				-i,--install
  24. 		站点插件:
  25. 			http://host:9200/_plugin/plugin_name
  27. CRUD操作相关的API:
  28. 	创建文档
  29. 		PUT http://10.26.32.52:9200/students/class1/1?pretty
  30. 		{
  31. 		"first_name":"rong",
  32. 		"last_name":"huang",
  33. 		"gender":"female",
  34. 		"age":23,
  35. 		"courses":"luo ying shen jian"
  36. 		}
  37. 	获取文档
  38. 		GET http://10.26.32.52:9200/students/class1/1?pretty
  39. 		{
  40. 		"_index": "students",
  41. 		"_type": "class1",
  42. 		"_id": "1",
  43. 		"_version": 1,
  44. 		"found": true,
  45. 		"_source": {
  46. 		"first_name": "jing",
  47. 		"last_name": "guo",
  48. 		"gender": "male",
  49. 		"age": 25,
  50. 		"courses": "xiang long shi ba zhang"
  51. 		}
  52. 		}
  53. 	更新文档:
  54. 		PUT方法会覆盖原有文档
  55. 		如果只更新部分内容,得使用_update API
  56. 		POST http://10.26.32.52:9200/students/class1/2/_update?pretty
  57. 		{
  58. 		"doc":{"age":22}
  59. 		}
  60. 	删除文档:
  61. 		DELETE http://10.26.32.52:9200/students/class1/2?pretty
  62. 	删除索引:
  63. 		DELETE http://10.26.32.52:9200/students
  65. 查询数据:
  66. 	Query API
  68. 		Query DSL: JSON based language for building complex queries
  69. 			用于实现诸多类型的查询操作.比如,simple term query,phrase,range boolean,fuzzy等
  71. 	ES的查询操作执行分为两个阶段:
  72. 		分散阶段:
  73. 		合并阶段:
  75. 	查询方式:
  76. 		向ES发起查询请求的方式有2种:
  77. 			1.通过restful request API查询,也称为query string
  78. 			2.通过发送REST request body进行
  79. 			GET http://10.26.32.52:9200/cmdb_assetsinfo/_search?pretty
  80. 			GET http://10.26.32.52:9200/cmdb_assetsinfo/_search?pretty
  81. 			{
  82. 			"query":{"match_all":{}}
  83. 			}
  84. 	多索引,多类型查询:
  86. 		/_search:所有索引
  87. 		/INDEX_NAME/_search:单索引
  88. 		/INDEX1,INDEX2/_search:多索引
  89. 		/s*,t*/_search:
  90. 		/students/class1/_search:单类型搜索
  91. 		/students/class1,class2/_search:多类型搜索
  93. Mapping和Analysis:
  94. 	ES:对每一个文档,会取得其所有域的所有值,生成一个名为"_all"的域.执行查询时,如果在query_string未指定查询的域,则在_all域上执行查询操作
  96. 		GET /_search?q='xianglong'
  97. 		GET /_search?q='xianglong shiba zhang'
  98. 		GET /_search?q=courses:'xianglong shiba zhang'
  99. 		GET /_search?q=courses:'xianglong'
  100. 	前两个:表示在_all域搜索
  101. 	后两个:在指定域搜索
  103. 	数据类型:string,numbers,Boolean,dates
  105. 	查看指定类型的mapping示例:
  106. 		GET http://10.26.32.52:9200/cmdb_assetsinfo/_mapping/
  108. 	ES中搜索的数据广义上可被理解为两类:
  109. 		types:exact
  110. 		full-text
  112. 		精确值:指未经加工的原始值:在搜索时进行精确匹配
  113. 			Notebook,notebook
  114. 		full-text:用于引用文本中数据,判断文档在多大程度上匹配查询请求.即文档与用户请求查询的相关度
  116. 		为了完成full-text搜索,ES必须首先分析文本,并创建出倒排索引.倒排索引中的数据还需进行"正规化"为标准格式
  117. 			分词
  118. 			正规化
  120. 			即分析
  122. 		分析需要由分析器进行,analyzer
  124. 			分析器由三个组件构成:字符过滤器,分词器,分词过滤器
  126. 			ES内置的分析器:
  127. 				standard analyzer
  128. 				simple analyzer
  129. 				whitespace analyzer
  130. 				language analyzer
  132. 			分析器不仅在创建索引时用到,在构建查询时也会用到
  134. 	Query DSL:
  135. 		request body:
  137. 			分成两类:
  138. 				query dsl:执行full-text查询时,基于相关度来评判其匹配结果
  139. 					查询执行过程复杂,且不会被缓存
  140. 				filter dsl:执行exact查询时,基于其结果为yes或no进行评判
  141. 					速度快,结果可缓存
  142. 			查询语句的结构:
  143. 				{
  144. 					QUERY_NAME:{
  145. 						ARGUMENT:VALUE,
  146. 						ARGUMENT:VALUE,
  147. 						...
  148. 					}
  149. 				}
  150. 				{
  151. 					QUERY_NAME:{
  152. 						FIELD_NAME:{
  153. 							ARGUMENT:VALUE,
  154. 							...
  155. 						}
  156. 					}
  157. 				}
  159. 			filter dsl:
  160. 				term filter:精确匹配包含指定term的文档
  161. 					{"term":{"name":"Guo"}}
  162. 					curl -XGET 'localhost:9200/students/_search?pretty' -d {
  163. 						"query":{
  164. 							"term":{
  165. 								"name":"guo"
  166. 							}
  167. 						}
  168. 					}
  169. 				terms filter:用于实现多值精确匹配
  170. 					{"terms":{"name":["guo","rong"]}}
  172. 				range filters:用于在指定范围内查找数值或时间
  173. 					{"range":
  174. 						"age":{
  175. 							"gte":15,
  176. 							"lte":25
  177. 						}
  178. 					}
  179. 				exists and missing filters:
  180. 					{"exists":
  181. 						{
  182. 						"age":25
  183. 						}
  184. 					}
  185. 				boolean filter:
  186. 					基于boolean的逻辑来合并多个filter子句
  187. 						must:其内部所有的子句条件必须同时匹配,即and
  188. 							must:{
  189. 								"term":{"age:25}
  190. 								"term":{"gender":"Female"}
  191. 							}
  192. 						must not:其所有子句必须不匹配,即not
  193. 							must_not:{
  194. 								"term":{"age":25}
  195. 							}
  196. 						should:至少有一个子句匹配,即or
  197. 							should:{
  198. 								"term":{"age:25}
  199. 								"term":{"gender":"Female"}
  200. 							}
  201. 			query dsl:
  202. 				match_all query:
  203. 					用于匹配所有文档,没有指定任何query,默认即为match_all query.
  204. 						{"match_all":{}}
  206. 				match query:
  207. 					在几乎任何域上执行full-text或exact-value查询
  208. 						如果执行full-text查询,首先对查询的语句做分析
  209. 							{"match":{"students":"guo"}}
  210. 						如果执行exact-value查询:搜索精确值,此时,建议使用过滤,而非查询
  211. 							{"match":{"name":"guo"}}
  213. 				multi_match query:
  214. 					用于在多个域上执行相同的查询:
  215. 						{
  216. 							"multi_match":
  217. 								"query":full-text search
  218. 								"field":{"value1","value2"}
  219. 						}
  220. 						{
  221. 							"multi_match":
  222. 								"query":{
  223. 									"students":"guo"
  224. 								}
  225. 								"field":
  226. 								{
  227. 									"name"
  228. 									"description"
  229. 								}
  230. 						}
  231. 				bool query:
  232. 					基于Boolean逻辑合并多个查询语句,与bool filter不同的是,查询子句不是返回yes或no,而是其计算出的匹配分值.因此,boolean query 会为各子句合并其score
  233. 						must
  234. 						must_not
  235. 						should
  237. 			合并filter和query:
  238. 				{
  239. 					"filterd":{
  240. 						query:{
  241. 							"match":{
  242. 								"gender":"female"
  243. 							}
  244. 						}
  245. 						filter:{
  246. 							"term":{
  247. 								"age":25
  248. 							}
  249. 						}
  250. 					}
  251. 				}
  253. 		查询语句语法检查:
  254. 			GET /INDEX/_validate/query?pretty
  255. 			{
  256. 				...
  257. 			}
  258. 			GET /INDEX/_validate/query?explain&pretty
  259. 			{
  260. 				...
  261. 			}

马哥Linux--elasticsearch的更多相关文章

  1. 马哥linux运维初级+中级+高级 视频教程 教学视频 全套下载(近50G)

    马哥linux运维初级+中级+高级 视频教程 教学视频 全套下载(近50G)目录详情:18_02_ssl协议.openssl及创建私有CA18_03_OpenSSH服务及其相关应用09_01_磁盘及文 ...

  2. 马哥 Linux运维基础进阶和shell入门

    地址:http://edu.51cto.com/course/course_id-618.html 紧接马哥linux专题 第一讲 Bash变量: 1byte= -128,127 2bytes -32 ...

  3. 小白该怎么学《马哥Linux从入门到精通》

    首先,必须说明我已经不是小白啦~现在的我在国内某独角兽担任运维工程师,带着一个四人小团队,在运维方面也算是有些心得,勉强过来回答一下这个问题,就算抛砖引玉了. 所有人都是从小白阶段过来的,我=也经历过 ...

  4. 马哥Linux base学习笔记

     介绍课程: 中级: 初级:系统基础 中级:系统管理.服务安全及服务管理.shell脚本 高级: MySQL数据库: Cache & storgae 集群: Cluster   lb: 4la ...

  5. 马哥Linux SysAdmin学习笔记(三)

    CentOS 5和6的启动流程: Linux:kernel+rootfs kernel:进程管理,内存管理,网络管理,驱动程序,文件系统,安全功能 rootfs: glibc 库:函数集合,funct ...

  6. 马哥Linux SysAdmin学习笔记(二)

    Linux网络属性管理: 局域网:以太网,令牌环网 Ethernet:CSMA/CD 冲突域 广播域 MAC:media access control地址 48bit: 24bits 24bits  ...

  7. 马哥Linux SysAdmin学习笔记(一)

    Linux入门 Linux系统管理: 磁盘管理,文件系统管理 RAID基础原理,LVM2 网络管理:TCP/IP协议,Linux网络属性配置 程序包管理:rpm,yum 进程管理:htop,glanc ...

  8. 【转】Linux从入门到精通——运维工程师成长路线图——CTO马哥Linux视频教学

    加油! http://edu.51cto.com/roadmap/view/id-2.html#6853467-sqq-1-36881-57ccc7d95ea58df839decd91bd220170

  9. Linux运维人员共用root帐户权限审计(转至马哥Linux运维）

    一.应用场景 在中小型企业,公司不同运维人员基本都是以root 账户进行服务器的登陆管理,缺少了账户权限审计制度.不出问题还好, 出了问题,就很难找出源头.这里介绍下,如何利用编译bash 使不同的客 ...

  10. 马永亮(马哥) linux视频2018年版

    视频试看地址: 百度云链接: https://pan.baidu.com/s/1q4DV62DiFbBT8t63CapLJA  提取码: h5e4 资料收集于网络,如有侵权,告知后删除

随机推荐

  1. Kubernetes 常见问题总结

    Kubernetes 常见问题总结 如何删除不一致状态下的 rc,deployment,service 在某些情况下,经常发现 kubectl 进程挂起现象,然后在 get 时候发现删了一半,而另外的 ...

  2. 小白都能学会的Java注解与反射机制

    前言 Java注解和反射是很基础的Java知识了,为何还要讲它呢?因为我在面试应聘者的过程中,发现不少面试者很少使用过注解和反射,甚至有人只能说出@Override这一个注解.我建议大家还是尽量能在开 ...

  3. [hash]集合

    集合 题目描述 给定两个集合A.B,集合内的任一元素x满足1 ≤ x ≤ 109,并且每个集合的元素个数不大于105.我们希望求出A.B之间的关系. 任 务 :给定两个集合的描述,判断它们满足下列关系 ...

  4. Echarts4.x雷达图如何展示一维数据？

    最近做的项目其中一个功能是画雷达图,鼠标滑过雷达图的拐点,展示该维相关数据,并且需要显示雷达图的刻度. 但是我发现单纯的雷达图似乎没办法展示一维数据. 我总结了一下,关于画雷达图,我遇到的难点有三个: ...

  5. JS基础学习第二天

    类型转换 类型转换就是指将其他的数据类型,转换为String Number 或 Boolean 转换为String 方式一(强制类型转换): 调用被转换数据的toString()方法例子:var a ...

  6. 一文搞定zuul使用

    前言 在深入探讨Spring Cloud Gateway的细节之前,让我们了解有关反向代理和api网关模式的一些基础知识. 什么是反向代理? 反向代理是代表其他事物进行请求的事物.它的行为更像是简单的 ...

  7. 2020-BUAA OO-面向对象设计与构造-HW11中对ageVar采用缓存优化的等价性证明（包括溢出情况）

    HW11中对ageVar采用缓存优化的等价性证明(包括溢出情况) 概要 我们知道,第三次作业里age上限变为2000,而如果缓存年龄的平方和,2000*2000*800 > 2147483647 ...

  8. leetcode 刷题（数组篇）152题 乘积最大子数组 (动态规划)

    题目描述 给你一个整数数组 nums ,请你找出数组中乘积最大的连续子数组(该子数组中至少包含一个数字),并返回该子数组所对应的乘积. 示例 1: 输入: [2,3,-2,4] 输出: 6 解释: 子 ...

  9. C# Linq 延迟查询的执行

    在定义linq查询表达式时,查询是不会执行,查询会在迭代数据项时运行.它使用yield return 语句返回谓词为true的元素. var names = new List<string> ...

  10. RTSP 流相关工具介绍

    RTSP (Real Time Streaming Protocol),实时流协议,是一种应用层协议,专为流媒体使用.本文将介绍 GStreamer, VLC, FFmpeg 这几个工具,如何发送.接 ...