es 迁移数据, 重建索引

原索引 PUT my_index { "mappings": { "_doc": { "properties": { "create_date": { "type": "date", "format": "yyyy-MM-dd ||yyyy/MM/dd" } } } } } 二.创建新索引 PUT my_index2 { "mapping…

sql优化实战：从1353秒到135秒（删除索引+修改数据+重建索引）

最近在优化日结存储过程,日结存储过程中大概包含了20多个存储过程. 发现其有一个存储过程代码有问题,进一步发现结存的数据中有一个日期字段business_date 是有问题的,这个字段对应的类型是varchar,但是存储过程传入参数的类型是char,导致最后结存进去的数据末尾多了几个空格. 比如,应该是'2016-12'的,但现在是'2016-12 '. 为了解决这个问题,要修改这个字段的值,去掉尾部的空格,于是运行如下语句: update TB_CUSTOMER_FROZEN set BU…

ES数据库重建索引——Reindex(数据迁移)

应用背景: 1.当你的数据量过大,而你的索引最初创建的分片数量不足,导致数据入库较慢的情况,此时需要扩大分片的数量,此时可以尝试使用Reindex. 2.当数据的mapping需要修改,但是大量的数据已经导入到索引中了,重新导入数据到新的索引太耗时:但是在ES中,一个字段的mapping在定义并且导入数据之后是不能再修改的, 所以这种情况下也可以考虑尝试使用Reindex. Reindex: ES提供了_reindex这个API.相对于我们重新导入数据肯定会快不少,实测速度大概是bulk导入数据…

「Elasticsearch」ES重建索引怎么才能做到数据无缝迁移呢？

背景众所周知,Elasticsearch是⼀个实时的分布式搜索引擎,为⽤户提供搜索服务.当我们决定存储某种数据,在创建索引的时候就需要将数据结构,即Mapping确定下来,于此同时索引的设定和很多固定配置将不能改变. 那如果后续业务发生变化,需要改变数据结构或者更换ES更换分词器怎么办呢?为此,Elastic团队提供了很多通过辅助⼯具来帮助开发⼈员进⾏重建索引的方案. 如果对 reindex API 不熟悉,那么在遇到重构的时候,必然事倍功半,效率低下.反之,就可以方便地进行索引重构,省时省力…

es迁移索引数据合并

es集群迁移,大规模迁移过程中,比如我们以当天时间做索引,在新的es集群会存在和老的es集群一样的索引文件名,这个时候用snapshot恢复数据会出现冲突问题.这里我们可以用reindex api来解决: 这里有两种方式使用 1.先在原来的es集群将迁移当天的索引文件名reindex,然后做快照,然后用快照恢复重命名的快照,然后重新reindex恢复 2.先在原来的es集群做快照,然后在新es集群做当日索引文件reindex,然后删除新生成的索引文件,然后从snapshot恢复当日索引文件,然后…

oracle 重建索引以及导出所有的索引脚本(可以解决还原数据库文件时先还原数据，在重新用脚本创建索引)

导出数据库备份文件 1. 备份服务器数据,采用并行方式,加快备份速度(文件日期根据具体操作日期修改) expdp jhpt/XXXX directory=databackup dumpfile=dpfile_201511271500_%U.dmp filesize=5G parallel=8 compression=all 导出为多个文件,最大一个文件5g. 4. 执行导入脚本,进行数据库导入,排除索引和主键(文件日期根据导出文件修改) impdp jhpt/XXX directory=data…