官方说法,来自https://www.elastic.co/guide/en/elasticsearch/reference/2.2/index-modules.html#_static_index_settings: index.codecThe default value compresses stored data with LZ4 compression, but this can be set tobest_compression which uses DEFLATE for a hi…

1. Oracle数据库进行备份恢复 客户测试环境, 有时候需要从现场copy到公司, 压缩虽然能够减少部分空间大小,但是copy到虚拟机里面也时浪费很大量的磁盘,所以能够在备份恢复的过程中执行压缩最好 oracle 这里用的参数时 compression 具体的用法为: expdp system/GS70SaaSdm99?! directory=dir schemas=lcgs79999 dumpfile=CWBASEGS7_20180919_COMPRESSION.DMP logfile=.…

<Connector port="7070" protocol="HTTP/1.1"connectionTimeout="20000"redirectPort="7443"Encoding="UTF-8"URIEncoding="UTF-8" compression="on" compressionMinSize="50" noCompres…

在使用sqoop 将数据库表中数据导入至hdfs时 配置启用压缩 hadoop 的命令    检查本地库支持哪些  bin/hadoop checknative 需要配置native    要编译版本  删除hadoop安装目录 lib 下的native文件夹 将解压好的native文件 拷贝到hadoop  lib目录下 然后在执行 bin/hadoop checknative   就会发现有了很多东西 然后在执行导入语句…

1. 压缩算法的比较 算法 压缩比 压缩 解压 GZIP 13.4% 21MB/s 118MB/s LZO 20.5% 135MB/s 410MB/s Snappy/Zippy 22.2% 172MB/s 409MB/s 总结: 1)GZIP的压缩率最高,但它是CPU密集型的,对CPU的消耗较多,压缩和解压速度也慢: 2)LZO的压缩率居中,比GZIP要低一些,但是压缩和解压速度明显要比GZIP快很多,其中解压速度快的更多: 3)Zippy/Snappy的压缩率最低,而压缩和解压速度要稍微比LZ…

以后会用到的相关知识:索引中某些字段禁止搜索,排序等操作 当我们学习Elasticsearch时,经常会遇到如下的几个概念: Reverted index doc_values source? 这个几个概念分别指的是什么?有什么用处?如何配置它们?只有我们熟练地掌握了这些概念,我们才可以正确地使用它们. Inverted index inverted index(反向索引)是Elasticsearch和任何其他支持全文搜索的系统的核心数据结构. 反向索引类似于您在任何书籍结尾处看到的索引. 它将…

由于es 单index 所能承受的数据量有限,之前情况是到400w数据300G左右的时候,整个数据的插入会变得特别慢(索引重建)甚至会导致集群之间的通信断开,于是我们采用每天一个index的方法来缓解压力,logstash 默认是支持每天产生索引的默认名为 logstash-yyyy.MM.dd 那么我们怎么才能重命名它呢,或者当我们有多个logstash实例的时候怎么才能让他们分别开来. 其实logstash的es  output中  有几个参数是控制此选项的: index => "dy…

<property> <name>hive.exec.compress.intermediate</name> <value>true</value></property><property> <name>mapreduce.map.output.compress</name> <value>true</value></property><property&…

我是用的logstash将kafka中的数据同步到elasticsearch.logstash和kafka在同一台服务器,elasticsearch在另外的服务器上. 经过排查,是因为我的logstash所在的服务器系统时间不对,比当前时间晚了好几天.后来修改了系统时间,重新写入数据,问题解决. 参考地址:http://blog.chinaunix.net/uid-7549563-id-5779178.html…

POST /index_name/type_name/_delete_by_query?conflicts=proceed { "query": { "match_all": {} } }…