https://www.jianshu.com/p/f4d322415d29 1.简介 ES为了避免深分页,不允许使用分页(from&size)查询10000条以后的数据,因此如果要查询第10000条以后的数据,要使用ES提供的 scroll(游标) 来查询 假设取的页数较大时(深分页),如请求第20页,Elasticsearch不得不取出所有分片上的第1页到第20页的所有文档,并做排序,最终再取出from后的size条结果作爲最终的返回值 假设你有16个分片,则需要在coordinate no

ES scroll(ES游标) 解决深分页. Why 当Elasticsearch响应请求时,它必须确定docs的顺序,排列响应结果.如果请求的页数较少(假设每页20个docs), Elasticsearch不会有什么问题,但是如果页数较大时,比如请求第20页,Elasticsearch不得不取出第1页到第20页的所有docs,再去除第1页到第19页的docs,得到第20页的docs. 原理 Scrolling allows us to do an initial search and to k

1. 默认情况下,cookie数据保存到内存里,当浏览器关闭后,Cookie数据被销毁 2. 持久化存储: setMaxAge(int seconds) 1. 正数:将Cookie数据写到硬盘的文件中,持久化存储.并指定cookie存活时间,时间到后,cookie文件自动失效. 2. 负数:默认值,即关闭浏览器后,cookie即失效 3. 零:删除cookie信息 setMaxAge为正数时的情况如下: 重启浏览器 不关闭浏览器 cookie时间未到 能访问cookie 能访问cookie co

Cookie和Session都是由Tomcat自动创建的对象,Cookie的默认最大存活时间是 -1 ,即当浏览器关闭时Cookie就消失了:Session的默认最大存活时间是30分钟. 使用Session进行会话保持时,服务器会将“JSESSIONID”打包成一个Cookie发给浏览器,由于Cookie的默认存活时间问题,一旦浏览器关闭,会话将会断开,为解决这一问题,可以使用 request.setMaxAge()方法为Cookie设置最大存活时间. 但实际效果:毫无作用! 原因:浏览器每次请

public static final int ALIVETIME = 600000; public static final String QUEUE = "hnyz_gs_queue"; @Beanpublic Queue cretaeQueue(){ // return new Queue(QUEUE,true); Map<String, Object> argMap = new HashMap<>(); // 设置消息存活时间 argMap.put(&q

TTL(Time-To-Live and Expiration): RabbitMQ既能对队列设置TTL也能对消息设置TTL,消息TTL可以应用于单个队列.一组队列或应用于逐个消息. 如何给消息设置TTL? rabbitmqctl rabbitmqctl set_policy TTL ".*" '{"message-ttl":60000}' --apply-to queues rabbitmqctl (Windows) rabbitmqctl set_policy

一.设置key的存活时间 1.失效后 ttl 是 -2,get返回 null : 2.不设置存活时候 ttl 返回是 -1: 二.查找指令和删除指令.重命名key.查看key类型 1.模糊查询 2.严格匹配是否存在 3. 4. 5.判断key的类型

在做项目中,有一个需求是统计本周内每天的漏洞数量,我选用的是ES中的date_histogram函数来进行聚合统计: 但是出现了一个问题,聚合出来的结果和想要统计的结果时间不一致,如下图所示 时间区间过滤8号到14号,应该显示7个时间段,结果却显示出8个时间段分别是7号-14号. 经过排查发现是ES在聚合时的时区问题,ES做时间聚合时自身不是东八区时间(中国时间),需要offset属性减8小时, extended_bounds属性里的min和max参数各加8小时才能统计正确,如下图所示 附代码:

上一篇我们讲了关于direct类型的Exchange,这一片我们来了解一下fanout类型的Exchange. 1.Exchange的fanout类型 fanout类型的Exchange的特点是会把消息发送给与之绑定的所有Queue中,我们来测试一下.代码如下 using RabbitMQ.Client; using System; using System.Text; using System.Threading; using System.Threading.Tasks; namespace

配置如下: es创建索引使用: logstash-chat-proxy-nginx-access-* logstash-chat-proxy-nginx-error-*

在web容器中设置(此处以tomcat为例)在tomcat-5.0.28\conf\web.xml中设置,以下是tomcat 5.0中的默认配置: [html] view plain copy <!-- ==================== Default Session Configuration ================= --> <!-- You can set the default session timeout (in minutes) for all newly

说明 在明确了ES的基本概念和使用方法后,我们来学习如何使用ES的Java API. 本文假设你已经对ES的基本概念已经有了一个比较全面的认识. 客户端 你可以用Java客户端做很多事情: 执行标准的index,get,delete,update,search等操作. 在正在运行的集群上执行管理任务. 但是,通过官方文档可以得知,现在存在至少三种Java客户端. Transport Client Java High Level REST Client Java Low Level Rest Cl

说明 在明确了ES的基本概念和使用方法后,我们来学习如何使用ES的Java API. 本文假设你已经对ES的基本概念已经有了一个比较全面的认识. 客户端 你可以用Java客户端做很多事情: 执行标准的index,get,delete,update,search等操作. 在正在运行的集群上执行管理任务. 但是,通过官方文档可以得知,现在存在至少三种Java客户端. Transport Client Java High Level REST Client Java Low Level Rest Cl

背景 ps:首先我们在一个索引里面写入一万条以上的数据.作为数据源 现在我想看到第一万零一条数据,首先第一想法是,from 10000 size 1 ,这样做会包下面错误.显然是不成立的.此时便会用到scroll分页, 补充一点:from size分页,假如你要获取第1000到1010条数据,即from: 1000 size :10,它内部会先取出1-1010条数据,然后丢弃第1-1000条,保留最后十条并展示. 正文 : (1)es内操作第一步: index/type/_search?pret

ES Connection timed out,调优方向 1. 使用游标滚动查询 scrollId 游标id searchResponse.getScrollId() scroll 设置游标的保留时间 new Scroll(TimeValue.timeValueMinutes(30L)) 指这个游标保留30分钟 游标设置为30分钟,用完需要删除游标 restHighLevelClient.searchScroll(new SearchScrollRequest().scrollId(scroll

Scroll search 请求返回一个单一的结果"页",而 scroll API 可以被用来检索大量的结果(甚至所有的结果),就像在传统数据库中使用的游标 cursor. 滚动并不是为了实时的用户响应,而是为了处理大量的数据,例如,为了使用不同的配置来重新索引一个 index 到另一个 index 中去. client 支持:Perl 和 Python 注意:从 scroll 请求返回的结果反映了 search 发生时刻的索引状态,就像一个快照.后续的对文档的改动(索引.更新或者删除

cookie 会话技术: 当用户打开浏览器的时候,访问不同的资源,直到用户将浏览器关闭,可以认为这是一次会话. 作用: 因为http协议是一个无状态的协议,它不会记录上一次访问的内容.用户在访问过程中难免会产生一些数据,通过会话技术就可以将数据保存起来. 例如: 用户登录 验证码 购物车 访问记录 会话技术分类: cookie:浏览器端会话技术 session:服务器端会话技术 cookie: 小饼干 小甜点 cookie是由服务器生成,通过response将cookie写回浏览器(set-co

0. 背景 公司的服务器后台部署在某一个地方,接入的是用户的APP,而该地方的网络信号较差,导致了服务器后台在运行一段时间后用户无法接入,那边的同事反馈使用netstat查看系统,存在较多的TCP连接. 1. 问题分析 首先在公司内部测试服务器上部署,使用LoadRunner做压力测试,能正常运行,然后那边的同事反馈该地方信号较差.考虑到接入的问题,有可能接入进程的FD资源耗尽,导致accept失败.推论的依据是对于TCP连接来说,如果客户端那边由于一些异常情况导致断网而未能向服务器发起FIN关

Druid底层不保存原始数据,而是借鉴了Apache Lucene.Apache Solr以及ElasticSearch等检索引擎的基本做法,对数据按列建立索引,最终转化为Segment,用于存储.查询与分析. 首先,无论是实时数据还是批量数据在进入Druid前都需要经过Indexing Service这个过程.在Indexing Service阶段,Druid主要做三件事:第一,将每条记录转换为列式(columnar format):第二,为每列数据建立位图索引:第三,使用不同的压缩算法进行压

以下是我在2017 ES 广州 meetup的分享 ppt:https://elasticsearch.cn/slides/11#page=22 摘要 ES最多使用的场景是搜索和日志分析,然而ES强大的实时索引查询.全文检索和聚合能力也能成为数据仓库与OLAP场景的强力支持.本次分享将为大家带来数说故事如何借助ES和Hadoop生态在不同的数据场景下构建起数据仓库能力. 背景 数说故事主要业务为数据商业智能分析,涉及业务包括数字营销.数据分析洞察.消费者连接,同时我们还拥有自己的数据源. 目前我