尽可能的利用内存 将尽可能的索引留在内存,即留更多的堆外内存给es 不查询的字段尽量不要往es插入,节省索引的空间大小(es + hbase) 数据预热 冷热数据分离 文档字段设计 根据查询场景设计字段,避免复杂查询,将字段抹平. 分页优化 避免深分页,用scroll…

http://blog.csdn.net/daybreak1209/article/details/51638187 一.mysql查询类型(默认查询出所有数据列)1.内连接       默认多表关联查询方式,查询出两个表中所有字段:可省略inner join 关键字2.外连接 查询出某一张表中的所有数据(1)左连接       查询出第一张表的所有字段(2)右连接  查询出第二张表的所有字段,表一匹配数据为空的返回null 3.子连接 --内连接 查询出bookID=book类型ID的记录 S…

面试 一般都是由浅到深去问,思路是: 先考察基础是否过关,因为基础知识决定了一个技术人员发展的上限 再通过深度考察是否有技术热情和深度以及技术的广度 同时可能会提出一些质疑和挑战来考察候选人能否与有不同意见的人沟通 考察内容和方式 基础知识 技术上深度与广度兼顾 基础知识: 考察基础的时候一般都不会深入地去问,主要目的是考察知识面 计算机理论基础: 计算机网络 数据结构 计算机组成原理 计算机操作系统 JDK: 源码 集合 BIO或者NIO annotation等 JVM: 内存模型 类加载原理…

利用kettle Spoon从oracle或mysql定时增量更新数据到Elasticsearch https://blog.csdn.net/jin110502116/article/details/79690483 背景: 目前的业务数据数据已经很大了,关于查询内的需求比较多,传统数据库已经不能满足目前的需要.必须得使用全文检索了,了解了相关资料,发现Elasticsearch这个工具比较强大.于是就开始新一段的爬坑之旅了... Elasticsearch安装什么的很方便,但是更新却是个很大…

业务需要把mysql的数据实时同步到ES,实现低延迟的检索到ES中的数据或者进行其它数据分析处理.本文给出以同步mysql binlog的方式实时同步数据到ES的思路, 实践并验证该方式的可行性,以供参考. mysql binlog日志 mysql的binlog日志主要用于数据库的主从复制与数据恢复.binlog中记录了数据的增删改查操作,主从复制过程中,主库向从库同步binlog日志,从库对binlog日志中的事件进行重放,从而实现主从同步. mysql binlog日志有三种模式,分别为:…

//数据库和es的对应关系(学习文档可以参考https://es.xiaoleilu.com/010_Intro/35_Tutorial_Aggregations.html) //如下接口调用都是使用postman工具 //新增一个用户,该用户具有主键,姓名,性别,年龄三个字段,如果按照mysql的思路,我们应该先创建一个user库,然后创建一张userInfo表,接着insert一条数据进入,如果insert的时候没有指定主键值,则主键会递增 es的思路也是这样:localhost:9200/…

1. 慢 SQL 的危害 2. 数据库架构 & SQL 执行过程 3. 存储引擎和索引的那些事儿 3.1 存储引擎 3.2 索引 4. 慢 SQL 解决之道 4.1 优化分析流程 4.2 执行计划(explain)详解 4.3 索引设计策略 4.4 SQL 优化 4.5 表结构优化 4.6 事务和锁优化 4.7 MySQL 服务端参数优化 4.8 硬件优化 4.9 架构优化 1. 慢 SQL 的危害 慢 SQL,就是跑得很慢的 SQL 语句,你可能会问慢 SQL 会有啥问题吗? 试想一个场景:…

从kafka里面把日志取出来,写入ES,使用Kibana做可视化展示 1. ElasticSearch 1.1 介绍 Elasticsearch(ES)是一个基于Lucene构建的开源.分布式.RESTful接口的全文搜索引擎.Elasticsearch还是一个分布式文档数据库,其中每个字段均可被索引,而且每个字段的数据均可被搜索,ES能够横向扩展至数以百计的服务器存储以及处理PB级的数据.可以在极短的时间内存储.搜索和分析大量的数据.通常作为具有复杂搜索场景情况下的核心发动机. 1.2 Ela…

最近打算用C#实现一个基于文件的EventStore. 什么是EventStore 关于什么是EventStore,如果还不清楚的朋友可以去了解下CQRS/Event Sourcing这种架构,我博客中也有大量介绍.EventStore是在Event Sourcing(下面简称ES)模式中,用于存储事件用的.从DDD的角度来说,每个聚合根在自己的状态发生变化时都会产生一个或多个领域事件,我们需要把这些事件持久化起来.然后当我们需要恢复聚合根的最新状态到内存时,可以通过ES这种技术,从EventS…

目录 一.导读 二.福利:账号借用 三._search api 搜索api 3.1.什么是query string search? 3.2.什么是query dsl? 3.3.干货!32个查询案例! 四.聚合分析 4.1.什么是聚合分析? 4.2.干货!15个聚合分析案例 五.7个查询优化技巧 欢迎关注 一.导读 Hi!大家久等了!时隔10天,白日梦的Elasticsearch笔记进阶篇终于甘完了!本次更新依然是干货满满! 下面会和大家分享 32种查询方法.15中聚合方式.7种优化后的查询技巧.…