应用背景: 1.当你的数据量过大,而你的索引最初创建的分片数量不足,导致数据入库较慢的情况,此时需要扩大分片的数量,此时可以尝试使用Reindex. 2.当数据的mapping需要修改,但是大量的数据已经导入到索引中了,重新导入数据到新的索引太耗时:但是在ES中,一个字段的mapping在定义并且导入数据之后是不能再修改的, 所以这种情况下也可以考虑尝试使用Reindex. Reindex: ES提供了_reindex这个API.相对于我们重新导入数据肯定会快不少,实测速度大概是bulk导入数据

自建博客地址:https://www.bytelife.net,欢迎访问! 本文为博客同步发表文章,为了更好的阅读体验,建议您移步至我的博客 本文作者: Jeffrey 本文链接: https://www.bytelife.net/articles/51440.html 版权声明: 本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议.转载请注明出处! 本文将讨论如何在ElasticSearch中使用nested结构进行数据的存储.查询和聚合,并结合K-V场景讨论ElasticSear

目录: 1 _riverStatus Import_fail 2 es_rejected_execution_exception <429> 3 create_failed_engine_exception <500> 4 mapper_parsing_exception <400> 5 index_not_found_exception <404> 6 Result window is too large, from + size must be less

详述: 1 _riverStatus Import_fail 问题描述: 发现有个索引的数据同步不完整,在 http://192.168.1.17:9200/_plugin/head/ 在browse - river里看到 _riverStatus Import_fail 查看 elasticsearch 的log发现 有几条数据由于异常造成同步失败,处理好数据好重新建索引数据同步正常. 2 es_rejected_execution_exception <429> 此异常主要是因为请求数过多

.4唯一索引 ①当表的某列被指定为unique约束时,这列就是一个唯一索引 ) unique); 这时, name 列就是一个唯一索引. unique字段可以为NULL,并可以有多NULL(,null) ), 但是不能是’’,但是如果是具体内容,则不能重复. 主键字段,不能为NULL,也不能重复. ②在创建表后,再去创建唯一索引 )); create unique index 索引名 on 表名 (列表..); .查看索引 desc 表名 [该方法的缺点是: 不能够显示索引名.] show in

我们究竟应该如何对MySQL数据库进行优化?下面我就从MySQL对硬件的选择.MySQL的安装.my.cnf的优化.MySQL如何进行架构设计及数据切分等方面来说明这个问题. 服务器物理硬件的优化 在挑选硬件服务器时,我们应该从下面几个方面着重对MySQL服务器的硬件配置进行优化,也就是说将项目中的资金着重投入到如下几处: 1.磁盘寻道能力(磁盘I/O),我们现在用的都是SAS15000转的硬盘,用6快这样的硬盘作RAID1+0.MySQL每一秒钟都在进行大量.复杂的查询操作,对磁盘的读写量可想

对于一个网站来说,在运行很长一段时间后,数据库瓶颈问题会越来越暴露出来.作为运维人员,对数据库做必要的优化十分重要!下面总结以往查阅到的以及自己工作中的一些优化操作经验,并根据OSI七层模型从下往上进行优化mysql数据库记录. 一:物理层面1.cpu:2-16个 2*4双四核,L1L2越大越好2.内存:越大越好3.磁盘:SAS或者固态 300G*12磁盘越多IO越高raid 0>10>5>14.网卡:千兆5.slave的配置最好大于等于master 二.系统配置如下,配置系统内核参数/

在solr中加入自己的扩展分词库方法: 参考文章: http://www.cnblogs.com/dennisit/archive/2013/04/07/3005847.html 1.在solr的web中:\WEB-INF目录下新增一个文件夹:classes 2.新增一个文件:IKAnalyzer.cfg.xml <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM &

本文转自:http://liangweilinux.blog.51cto.com/8340258/1728131 年,嘿,废话不多说,下面开启MySQL优化之旅! 我们究竟应该如何对MySQL数据库进行优化?下面我就从MySQL对硬件的选择.MySQL的安装.my.cnf的优化.MySQL如何进行架构设计及数据切分等方面来说明这个问题. 服务器物理硬件的优化 在挑选硬件服务器时,我们应该从下面几个方面着重对MySQL服务器的硬件配置进行优化,也就是说将项目中的资金着重投入到如下几处: 1.磁盘寻

本地仓库是远程仓库的一个缓冲和子集,当你构建Maven项目的时候,首先会从本地仓库查找资源,如果没有,那么Maven会从远程仓库下载到你本地仓库.这样在你下次使用的时候就不需要从远程下载了.如果你所需要的jar包版本在本地仓库没有,而且也不存在于远程仓库,Maven在构建的时候会报错,这种情况可能是有些jar包的新版本没有在Maven仓库中及时更新. 默认仓库的存储位置 Maven缺省的本地仓库路径为${user.home}/.m2/repository具体如下图 自定义修改仓库的存储位置: 可

难得写篇自己的原创文档了,哈哈哈,原谅我知识浅薄,积淀太少 一.涉及到的软件和环境jdk1.8.0_92,tomcat8,zookeeper3.4.8,solr6.1.0(solr6需要jdk8以上环境)二.安装步骤  安装zookeeper集群 A 下载zookeeper3.4.8B 解压至/home/zk/zookeeper-3.4.8,建立软链: tar -zxvf zookeeper-3.4.8.tar.gz ; ln -s zookeeper-3.4.8 zookeeperC更改zk配

原文地址:http://liangweilinux.blog.51cto.com/8340258/1728131 首先在此感谢下我的老师年一线实战经验,我当然不能和我的老师平起平坐,得到老师三分之一的真传年,嘿,废话不多说,下面开启MySQL优化之旅! 我们究竟应该如何对MySQL数据库进行优化?下面我就从MySQL对硬件的选择.MySQL的安装.my.cnf的优化.MySQL如何进行架构设计及数据切分等方面来说明这个问题. 服务器物理硬件的优化 在挑选硬件服务器时,我们应该从下面几个方面着重对

Lucene是Apache发布的开源搜索引擎开发工具包,不仅提供了核心的搜索功能,还提供了许多其他功能插件,例如:拼写检查功能模块. 搜索拼写检查模块实现类在lucene-suggest-x.xx.x.jar包中,package名为org.apache.lucene.search.spell,其中拼写检查功能的核心实现有3个类, 分别为:SpellChecker.DirectSpellChecker.WordBreakSpellChecker; 3个类提供了不同的拼写检查方式,区别如下: Spe

我们在mysql数据中可以使用match against语句解决中文全文搜索的问题 先看一个例句: SELECT * FROM v9_search WHERE `siteid`= '1' AND `typeid` = '3' AND MATCH (`data`) AGAINST ('基地 教育 韩天衡' IN BOOLEAN MODE); 想要此语句生效需要满足以下几个条件: 1,表'v9_search'的类型必须是MyISAM 2,字段'data'的类型必须是char,varchar,text

上星期写了一个篇文章,数据库方面的面试技巧,如何从建表方面展示自己能力,承蒙管理员抬举,放入首页,也承蒙各位厚爱,两天内收获了将近770个点击,也一度进入48小时热榜. 为了感谢管理员和大家的支持,再根据我的面试经验原创一篇关于索引方面如何推销自己的文章.这内容也来自我写的书 java web轻量级开发面试教程. 如果我们需要招个Java方面的高级程序员,一方面看年限(本科3年),具体到数据库方面的技能要求,包括如下三个方面: 第一,是否会基本的增删改查,存储过程等技能,是否会用些group b

摘要 MySQL的最初的核心思想,主要是开源.简便易用.其开发可追溯至1985年,而第一个内部发行版本诞生,已经是1995年.到1998年,MySQL已经可以支持10中操作系统了,其中就包括win平台. 此文档将从安装开始带领着读者一步步深入了解mySQL相关功能,该文由作者多年实战经验的总結而组成,其中包括如下内容: 近几十条优化经验 mySQL集群.主备 多种SQL优化分析手段 mySQL读写分离 mySQL横向及垂直折分 面向读者 该文适用于Linux CENTOS6.X及以上相关环境,m

本地仓库是远程仓库的一个缓冲和子集,当你构建Maven项目的时候,首先会从本地仓库查找资源,如果没有,那么Maven会从远程仓库下载到你本地仓库.这样在你下次使用的时候就不需要从远程下载了.如果你所需要的jar包版本在本地仓库没有,而且也不存在于远程仓库,Maven在构建的时候会报错,这种情况可能是有些jar包的新版本没有在Maven仓库中及时更新. (感觉和网络里面的路由器有点像,你发请求,先在路由器缓存中找,若有就返回:没有,再去服务器下载新的再返回给用户的同时更新路由器本地缓存.) 默认仓

服务器物理硬件的优化 在挑选硬件服务器时,我们应该从下面几个方面着重对MySQL服务器的硬件配置进行优化,也就是说将项目中的资金着重投入到如下几处: 1.磁盘寻道能力(磁盘I/O),我们现在用的都是SAS15000转的硬盘,用6快这样的硬盘作RAID1+0.MySQL每一秒钟都在进行大量.复杂的查询操作,对磁盘的读写量可想而知,所以,通常认为磁盘I/O是约制MySQL性能的最大因素之一.对于日均访问量在100万PV以上的论坛(Discuz).博客(Wordpress),如果性能不好,造成的直接后

my-innodb-heavy-4G.cnf配置文件注解 [client] #客户端 port = 3306 #mysql客户端连接时的默认端口号 socket = /application/mysql-5.5.32/tmp/mysql.sock [mysqld] port = 3306 #mysql服务器监听的默认端口 socket = /application/mysql-5.5.32/tmp/mysql.sock back_log = 50 #是指保持在操作系统监听队列的连接数量,即在My

[client] ####客户端 port = 3306 ####mysql客户端连接时的默认端口号 socket = /application/mysql-5.5.32/tmp/mysql.sock [mysqld] port = 3306 ####mysql服务器监听的默认端口 socket = /application/mysql-5.5.32/tmp/mysql.sock back_log = 50 ####是指保持在操作系统监听队列的连接数量,即在MySQL连接管理器线程处理他们之前的

这篇文章是基于上一篇文章来写的,使用的是IndexUtil类,下面的例子不在贴出整个类的内容,只贴出具体的方法内容. 3.5版本: 先写了一个check()方法来查看索引文件的变化:   /**   * 检查一下索引文件   */   public static void check() {   IndexReader indexReader = null;   try {   Directory directory = FSDirectory.open(new File("F:/test/lu