ES 5.3以后出的新功能.测试demo如下: 下载ES 5.5版本,然后分别本机创建2个实例,配置如下: cluster.name: xx1 network.host: 127.0.0.1 http.port: 9200 transport.tcp.port: 9300 cluster.name: xx2 network.host: 127.0.0.1 http.port: 9201 transport.tcp.port: 9301 再创建一个实例用于跨集群搜索,配置如下: http.port

ES 是 Elastic Search 的缩写,可以理解为一个支持分布式部署的软件. 部署了以后可以当数据库用,虽然官方不建议这样做,但我们是这样干的. 它解决了很多场景下的查询需求,发版速度飞快,用的人蛮多的,使用 Java 开发并开源. 我刚接触没几天遇到了很多坑,在这里记录一下. 1.如何精确查询中文字段? 使用 keyword 特性,让分析器不进行拆词,然后使用 term query.如: [Keyword(Name = nameof(CompanyName), Index = true

es服务端是准确知道每个document分布在哪个shard上: search一个比较复杂的执行模式,因为我们不知道那些document会被匹配到,任何一个shard上都有可能,所以一个search请求必须查询一个索引或多个索引里面的所有shard才能完整的查询到我们想要的结果. 找到所有匹配的结果是查询的第一步,来自多个shard上的数据集在分页返回到客户端的之前会被合并到一个排序后的list列表,由于需要经过一步取top N的操作,所以search需要进过两个阶段才能完成,分别是query和

尝试将结构化的json数据发送到es(elastic search)上,然后创建视图,这样就能以小时维度查看数据,直接使用post发送到es后,创建索引,结果提示 没有date类型的字段(field).经过一番搜索和请教同事同学,最后尝试如下方法解决: 删除原有的索引,然后在发送数据到ES前的时候先 发送如下请求(es 5.0版本): http://yourhost.com/yourindex/   发送post 或者put请求,请求内容 { "mappings": { "你

项目需要,引入了elastic search(后续简称es),后面将介绍本地对es的安装,使用以及java连接es查询的整个过程. 1.es索引字段建立与修改,以curl新增一个索引字段示例 curl -X PUT \ http://127.0.0.1:9200/idx_your_entity/_mapping/your_entity \ -H 'Content-Type: application/json' \ -H 'Postman-Token: 326dd921-4f7e-498b-866

上一篇我们简单的介绍了,语句优化的三板斧,大部分语句三板斧过后,就算不成为法拉利也能是个宝马了.为了方便阅读给出系列文章的导读链接: SQL SERVER全面优化-------Expert for SQL Server 诊断系列 本篇主要讲述几个常见的系统等待,透过这些等待,看看系统存在什么问题,怎么样解决这些问题.结合系统三巨头(CPU,内存,磁盘)综合展现系统问题和这些元素的联系. 首先我们举个例子:前文提到了,一个好的SQL语句就好比一辆时速180的好车,好的系统硬件(CPU,内存,磁盘)

SELECT DB_NAME(er.[database_id]) [DatabaseName],er.[session_id] AS [SessionID],er.[command] AS [CommandType] ,est., ), er.[percent_complete]) AS [Complete_Percent], , ), er., ),  er.[estimated_completion_time] / 60000.00) AS [EstimatedCompletionTime_

什么?有个 SQL 执行了 8 秒! 哪里出了问题?臣妾不知道啊,得找 DBA 啊. DBA 人呢?离职了!!擦!!! 程序员在无处寻求帮助时,就得想办法自救,努力让自己变成 "伪 DBA". 索引 查看 Session 对应的 Thread 和当前 Command 侦测 Deadlocking 或阻塞问题 查看 Task 执行中哪个 Wait Type 最慢 查看当前 Task 的运行情况 查看 Lock Waits 状态 查看 Latch 等待情况 将所有 wait_type 按照

在端午节放假的三天中,我对正在开发的 Service 进行了 LoadTest,尝试在增大压力的条件下发现问题. 该 Service 为独立进程的 WCF 服务,宿主于 WindowsService,其接收其他 Service 的调用,并根据业务流程调用不同的依赖 Service. 问题现象 果真,假期归来,问题来了.内存正常在 200M 左右,已经膨胀到 4.5G,同时正常线程数为 40-60 左右,已经占用了 560 个. 基于在测试之前已经准备好了 PerformanceCounter 记

不具有通用性,留作纪念. [root@GXB-CTRLCENTER python]# cat insert_uv.py #!/usr/bin/env python # -*- coding:utf-8 -*- from datetime import * from with_conn_to_db import conn_to_mysql import urllib2,json import time ###define yestoday 0-24 hours delta part########

不具有通用性,留作纪念. [root@GXB-CTRLCENTER python]# cat insert_pv.py #!/usr/bin/env python # -*- coding:utf-8 -*- from datetime import * from with_conn_to_db import conn_to_mysql import urllib2,json import time ###define yestoday 0-24 hours delta part########

不具有通用性,留作纪念. [root@GXB-CTRLCENTER python]# cat insert_active_user.py #!/usr/bin/env python # -*- coding:utf-8 -*- from datetime import * from with_conn_to_db import conn_to_mysql import urllib2,json import time ###define yestoday 0-24 hours delta par

<form name="example_form" action="http://google.com" method="POST"> <label for="req">Required field:</label><input name="req" id="req" /><br/> <label for="al

写在前面 在QQ群,微信群,论坛中经常帮助使用SQL Server数据库的朋友解决问题,但是有一些最常见最基本的问题,每天都有人问,回答多了也不想再解答了,索性把这些问题整理一下,再有人问到直接发链接. 一时想法而写这篇文章,问题可能不全面,后续会一直更新. 基础问题收集 资源下载 描述:XX版本数据库操作系统在哪里下载? 答:http://www.itellyou.cn/  里面很多东西,有兴趣的自己看吧 连接问题 描述:数据库连接不上 答:请确认SQL服务是否启动,用户密码是否正确,连接的实

WITH sess AS ( SELECT es.session_id, database_name = DB_NAME(er.database_id), er.cpu_time, er.reads, er.writes, er.logical_reads, login_name, er.status, blocking_session_id, wait_type, wait_resource, wait_time, individual_query ), (( )), parent_query

LoadTest中内存和线程Troubleshooting实战 在端午节放假的三天中,我对正在开发的Service进行了LoadTest,尝试在增大压力的条件下发现问题. 该Service为独立进程的WCF服务,宿主于WindowsService,其接收其他Service的调用,并根据业务流程调用不同的依赖Service. 问题现象 果真,假期归来,问题来了.内存正常在200M左右,已经膨胀到4.5G,同时正常线程数为40-60左右,已经占用了560个. 基于在测试之前已经准备好了Perform

这一段时间,因为系统升级,新系统产生的数据长度,比原来的数据长度要长,所以说要扩充一下字段长度. ) --修改字段长度sql 在执行的时候,有这样一个情况. 例如Student表的Name字段长度是nvarchar(50), 假如想变成nvarchar(100),这种情况,立刻能执行成功. 假如想变成nvarchar(20),这种情况,会执行很久.   有一些表没啥问题,但是有一个表数据量较大,差不多有1亿多,执行时间太长,还把所有数据表给锁住了(如下图).不过这种情况数据还能用语句查询. ①我

在Sqlsever数据库中,有时候操作数据库过程中会进行锁表操作,在锁表操作的过程中,有时候会出现死锁的情况出现,这时候可以使用SQL语句来查询数据库死锁情况,主要通过系统数据库Master数据库来查询,涉及到的系统数据表有dm_exec_requests.dm_exec_sessions.dm_exec_sql_text等几个表. SQL查询语句如下: SELECT es.session_id, database_name = DB_NAME(er.database_id), er.cpu_t

这一段时间,因为系统升级,新系统产生的数据长度,比原来的数据长度要长,所以说要扩充一下字段长度. ) --修改字段长度sql 在执行的时候,有这样一个情况. 例如Student表的Name字段长度是nvarchar(50), 假如想变成nvarchar(100),这种情况,立刻能执行成功. 假如想变成nvarchar(20),这种情况,会执行很久.   有一些表没啥问题,但是有一个表数据量较大,差不多有1亿多,执行时间太长,还把所有数据表给锁住了(如下图).不过这种情况数据还能用语句查询. ①我

常见深度分页方式 from+size es 默认采用的分页方式是 from+ size 的形式,在深度分页的情况下,这种使用方式效率是非常低的,比如 from = 5000, size=10, es 需要在各个分片上匹配排序并得到5000*10条有效数据,然后在结果集中取最后10条 数据返回,这种方式类似于mongo的 skip + size. 除了效率上的问题,还有一个无法解决的问题是,es 目前支持最大的 skip 值是 max_result_window ,默认 为 10000 .也就是当

本篇文章内容来自2016年TOP100summit斗鱼数据平台部总监吴瑞城的案例分享. 编辑:Cynthia 吴瑞诚:斗鱼数据平台部总监 曾先后就职于淘宝.一号店. 从0到1搭建公司大数据平台.平台规划和团队建设. 目前负责斗鱼实时/离线数据处理.个性推荐系统.BI&DW和搜索引擎. 背靠开源生态,应用短平快的方式,支撑起一个亿级用户的在线直播平台. 致力于数据平台产品化.智能化.云化. 对高可用高并发的大数据平台架构和SOA架构有深入的理解和实践. 导读:2016年是直播行业的元年,斗鱼在两年