segments&cache
Segments
执行效果
- 命令 在 sense 里边执行 GET /abcd/_segments 前边的是索引名称,后边是请求 段信息
- 说明 索引是面向分片的,是由于索引是由一个或多个分片(以及它的副本)构成,每个分片就是一个物理上的Lucene索引
- 返回
名词解释
- 已提交索引段:指那些已经执行了提交命令的段,意味着已经提交到磁盘持久化并且是只读的;
- 可查询索引段:可供查询使用的索引段;
- 索引的代:告诉我们索引有多“老”,起初创建的索引段的代为0,接着是1,依次继续;
- 被标记为已删除的索引数:这些文档会在索引段合并的过程中被删除;
Cache
分类
- 过滤器缓存
- 字段数据缓存
哪些场景会使用到缓存
- 父子索引
- 切面
- 基于索引字段的高效排序
过滤器缓存
索引级过滤器缓存
index.cache.filter.type:类型 resident,soft,weak或node(默认值)
index.cache.filter.max_size:存储到缓存中的最大纪录数,默认为-1,应用于指定索引的某个分片的某个索引段上;
index.cache.filter.expire:指定过滤器缓存中记录的过期时间,默认为-1,60m代表60分钟;
节点级别过滤器缓存
应用于给定节点的所有分片,可以利用下边的参数设置缓存的大小:
indices.cache.filter.size:可以使用百分数 1% 占用当前最大堆内存的百分比,也可以设置数字 如 1024mb
移除策略:LRU
字段数据缓存
说明
字段数据缓存在我们涉及到 切面计算 或 基于字段数据排序使用
做法:加载相关字段的全部数据到内存中。
配置
index.fielddata.cache.type:同上
index.fielddata.cache.size:同上
index.fielddata.cache.expire:同上
过滤
上边的索引尤其是字段索引都是es的默认机制,将 切面计算的字段和排序的字段做的默认的fielddata索引,
现在我们选择性的将一些字段数据缓存做一个定制化
这样做的好处是:将一些低频词项甚至是错误的词从字段缓存中删除,降低字段缓存的总量;
基于词频和正则表达式过滤
只加载那些词频高于指定最小值且低于指定最大值的词项,词项的范围是针对索引段的。
{
...
properties:{
"field":{
"type":"string",
"index":"not_anlyzed",
"fielddata":{
"filter":{
"frequency":{
"min":0.01, 词项出现频率大于1%
"max":0.4, 词项出现频率小于40%
"min_segment_size":100 该索引段至少要有100个文档
},
“regex”:"^#.*" 词项必须以#开头
}
}
}
}
} 只有符合以上过滤条件的 词项 才会被缓存
清除缓存
- 清除全部缓存 _cache/clear
- 清除指定缓存 index/_cache/clear
- 清除指定类型缓存 index/_cache/clear?filter=true&field_data=false&bloom=true 清除索引的filter缓存和bloom缓存,保留fielddata字段数据缓存
- 清除指定字段缓存 index/_cache/clear?fields=title,price 清除字段为field和price的全部缓存
问题
- filtercache是如何存储和获取的?
- fielddatacache是如何存储和获取的?
- segments的创建和merge机制是怎样的?
segments&cache的更多相关文章
- Erlang 虚拟机内的内存管理(Lukas Larsson演讲听写稿)
Erlang核心开发者Lukas Larsson在2014年3月份Erlang Factory上的一个演讲详细介绍了Erlang内存体系的原理以及调优案例: http://www.erlang-fac ...
- Java中的注解是如何工作的?--annotation学习一
自Java5.0版本引入注解之后,它就成为了Java平台中非常重要的一部分.开发过程中,我们也时常在应用代码中会看到诸如@Override,@Deprecated这样的注解.这篇文章中,我将向大家讲述 ...
- Elasticsearch 通关教程(七): Elasticsearch 的性能优化
硬件选择 Elasticsearch(后文简称 ES)的基础是 Lucene,所有的索引和文档数据是存储在本地的磁盘中,具体的路径可在 ES 的配置文件../config/elasticsearch. ...
- BUFFER CACHE之主要的等待事件
原因:资源紧张,等待其释放. 原因的原因:1. lgwr和DBWn进程写太慢:2. Buffer和latch不可用 原因的原因的原因:全表扫描.library cache latches数太多等. 视 ...
- Linux内存中的Cache真的能被回收么?
在Linux系统中,我们经常用free命令来查看系统内存的使用状态.在一个RHEL6的系统上,free命令的显示内容大概是这样一个状态: [root@tencent64 ~]# free ...
- guava cache使用和源码分析
guava cache的优点和使用场景,用来判断业务中是否适合使用此缓存 介绍常用的方法,并给出示例,作为使用的参考 深入解读源码. guava简介 guava cache是一个本地缓存.有以下优点: ...
- nginx cache的玩法
一.简介 Nginx版本从0.7.48开始,支持了类似Squid的缓存功能.这个缓存是把URL及相关组合当做Key,用Md5算法对Key进行哈希,得到硬盘上对应的哈希目录路径,从而将缓存内容保存在 ...
- 【转载】row cache lock
转自:http://blog.itpub.net/26736162/viewspace-2139754/ 定位的办法: --查询row cache lock等待 select event,p1 ...
- Google guava cache源码解析1--构建缓存器(3)
此文已由作者赵计刚授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 下面介绍在LocalCache(CacheBuilder, CacheLoader)中调用的一些方法: Ca ...
随机推荐
- 纯css3艺术文字样式效果代码
效果:http://hovertree.com/texiao/css3/1/ 本效果主要使用text-shadow实现.参考:http://hovertree.com/h/bjaf/css3_text ...
- javascript中的两个定时函数setTimeOut()和setInterVal()的区别
js中经常性要用到间隔几秒或暂停几秒执行某个函数, 简单介绍我从网上收集到setTimeOut()和setInterVal()的区别1.setInterVal()介绍 1)定义 setInterval ...
- sql count统计技巧
select count(1) from table where columnname=value 写成 select count(case when columnname=value than 1 ...
- JFreechart在linux下不显示及中文乱码问题
一.使用JFreeChart建的报表,在window下能正常显示,但是放到linux下就报错,而且有时候会把tomcat挂掉, 原因是jfreechart的在linux系统中需要访问java awt库 ...
- java中抽象、分装、继承和多态的理解
1.抽象.封装装.继承和多态是java面向对象编程的几大特点. 抽象:所谓抽象就是对某件事务,我们忽略我们不关心不需要的部分,提取我们想要的属性和行为,并且以代码的形式提现出来:例如我们需要对一个学生 ...
- HTML思维导图
- 使用C#开发数据库应用系统
第一章 初识Windows程序 01.浅谈控制台应用 解析:控制台应用程序:dos窗口中显示 Windows窗体应用程序:有控件参与的,支持事件的一种程序 02.关于窗体项目的注意点: /*01.一个 ...
- arcgis10.2.2地图服务切图具体步骤
1.未发布的参照http://www.cnblogs.com/oolili/p/4752114.html 2.在发布地图服务的基础上,打开Arccatalog,找到发布的地图服务选项,如下图: 右键地 ...
- C# PPT Operator
来自:http://blog.csdn.net/lxzh12345/article/details/47047491 最近在写一个工具,设计到将界面内容到处到PPT中,且导出的内容能够编辑.网上搜了很 ...
- GPS各种地图坐标系转换(转载)
http://my.oschina.net/fankun2013/blog/338100 地图供应商比较多,产生了许多地图坐标.地图坐标正确转换是个问题.在之前开发地图应用的时候发现从WGS84坐标系 ...