一.Nosql概述 为什么使用Nosql 1.单机Mysql时代 90年代,一个网站的访问量一般不会太大,单个数据库完全够用.随着用户增多,网站出现以下问题 数据量增加到一定程度,单机数据库就放不下了 数据的索引(B+ Tree),一个机器内存也存放不下 访问量变大后(读写混合),一台服务器承受不住. 2.Memcached(缓存) + Mysql + 垂直拆分(读写分离) 网站80%的情况都是在读,每次都要去查询数据库的话就十分的麻烦!所以说我们希望减轻数据库的压力,我们可以使用缓存来保证效率…

Elasticsearch.XXLJob以及最近的学习记录 前言 在这九月的最后一周,来总结一下最近的学习记录,主要是对于Elasticsearch.XXLjob的初步学习,想着还是多记录点,以便后面去看看,具体的错误认知点在哪,以及找到一些自己的认识点. 后台数据脱敏 一.普通方式 首先该功能是基于Spring Boot项目做的,所以这是一个简单的流程. 具体实现:首先设定一个角色code,比如 "涉密人员" "secret": 通过登录时获取token中的用户名…

一.ElasticSearch概述 官网:https://www.elastic.co/cn/downloads/elasticsearch Elaticsearch,简称为es,es是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储.检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别(大数据时代)的数据.es也使用java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是<mark>通过简单的RESTful API来隐藏Lucene的复杂性,从而…

ElasticSearch:7.6.1 https://gitee.com/yujie.louis/elastic-search 笔记,代码,安装包等 什么是ElasticSearch? Elasticsearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java语言开发的,并作为Apache许可条款下的开放源码发布,是一种流行的企业级搜索引擎.Elasticsearch用于云计算中,能够达到实时…

摘要   接触ElasticSearch已经有一段了.在这期间,遇到很多问题,但在最后自己的不断探索下解决了这些问题.看到网上或多或少的都有一些介绍ElasticSearch相关知识的文档,但个人觉得都不是很全面.因此就有了写ElasticSearch开发教程的想法,将学习到的技术经验分享出来,帮助更多需要的朋友,也希望借此认识同行的朋友,共同交流,共同进步! 系列文章的总括 下面将对即将推出的ElasticSearch开发系列连载教程做简单的说明.教程主要是面向有一定Java编程基础的朋友,不…

Elasticsearch 5.0 关于term query和match query的认识 一.基本情况 前言:term query和match query牵扯的东西比较多,例如分词器.mapping.倒排索引等.我结合官方文档中的一个实例,谈谈自己对此处的理解 string类型在es5.*分为text和keyword.text是要被分词的,整个字符串根据一定规则分解成一个个小写的term,keyword类似es2.3中not_analyzed的情况. string数据put到elasticse…

Elasticsearch 查询语言(Query DSL)认识(一) 一.基本认识 查询子句的行为取决于 query context filter context 也就是执行的是查询(query)还是过滤(filter) query context 描述的是:被搜索的文档和查询子句的匹配程度 filter context 描述的是: 被搜索的文档和查询子句是否匹配 一个是匹配程度问题,一个是是否匹配的问题 二.实例 导入数据 bank account data download 将数据导入到el…

Ubuntu 14.04中Elasticsearch集群配置 前言:本文可用于elasticsearch集群搭建参考.细分为elasticsearch.yml配置和系统配置 达到的目的:各台机器配置成功,可以达到如下效果: elasticsearch节点组成集群,对外来看俨如一台机器 elasticsearch节点的内存得到优化调整 一. elasticsearch.yml配置 network.host: "172.16.0.4" #这里可以是内网ip.机器名 bootstrap.ml…

之前我们所有的查询都属于命令行查询,但是不利于复杂的查询,而且一般在项目开发中不使用命令行查询方式,只有在调试测试时使用简单命令行查询,但是,如果想要善用搜索,我们必须使用请求体查询(request body search)API.之所以这么称呼,是因为大多数的参数以JSON格式所容纳而非查询字符串.请求体查询,并不仅仅用来处理查询,而且还可以高亮返回结果中的片段,并且给出帮助你的用户找寻最好结果的相关数据建议. 空查询 我们以最简单的search API开始,空查询将会返回索引中所有的文档.…

在ElasticSearch中,存入文档的内容类似于传统数据每个字段一样,都会有一个指定的属性,为了能够把日期字段处理成日期,把数字字段处理成数字,把字符串字段处理成字符串值,Elasticsearch需要知道每个字段里面都包含了什么类型.这些类型和字段的信息存储(包含)在映射(mapping)中. 核心简单字段类型 Elasticsearch支持以下简单字段类型: String:string(弃用), text, keyword(ElasticSearch 5.0开始支持,先以string介绍…