一.概述 使用elasticsearch收集日志进行处理,时间久了,很老的数据就没用了或者用途不是很大,这个时候就要对过期数据进行清理.这里介绍两种方式清理这种过期的数据. 1.curator 关于版本: 安装: https://www.elastic.co/guide/en/elasticsearch/client/curator/current/installation.html 我使用的是ubuntu系统,所以参考的是https://www.elastic.co/guide/en/elas

修改方法: 1.直接编辑修改 查看当前logging-curator配置,了解当前定时删除大的策略. oc edit configmap/logging-curator 打开后,可以直接编辑保存. 2.通过新文件创建 重新编辑一个新的yaml,替换原有配置. 文件内容参考如下: mycuratorconfig.yaml  project1: delete: days: myapp-qe: delete: weeks: .operations: delete: weeks: .defaults:

有时候在服务器上打开了很多会占用内存的程序但关闭这些程序后,发现内存空间还是和没有关闭应用程序时的占用一样,以致使其它应用程序打开时内存不够或很卡,那么此时就想清理掉以前的程序打开时所占用的内存.而大部分都是缓存数据所占用的,那么怎样进行内存的清理呢?可以使用以下的步骤来进行内存的清理: 大多数 Linux 服务器都是默认开启了缓存机制的,查看配置文件 cat /proc/sys/vm/drop_caches 若为0的话,则表示开启了缓存机制的,这种机制在一直运行某个服务的时候非常有效,便于服务

Ubuntu Linux与Windows系统不同,Ubuntu Linux不会产生无用垃圾文件,但是在升级缓存中,Ubuntu Linux不会自动删除这些文件,今天就来说说这些垃圾文件清理方法.  1.非常有用的清理命令: sudo apt-get autoclean --清理旧版本的软件缓存 sudo apt-get clean--清理所有软件缓存 sudo apt-get autoremove--删除系统不再使用的孤立软件 这三个命令主要清理升级缓存以及无用包的. 2.清理Linux下孤立的

前一天晚上做大表删除操作测试,分段删除,没删除100000条commit一次,由于存储过程打印了执行时间中途断网,无法看到执行时间于是直接kill了任务结果早上登录测试数据库发现空间爆满然后一时糊涂去弄了表的shrink跟dbms_stats.gather_table_stats想着收缩表释放空间弄到一半突然想起,表的收缩最多是释放表空间的空闲空间,并非系统空间后来想想,大量删除反复操作过程引发了undo的扩展,后来检查表空间后确实如此最后在线更换undo tablespace后删除原table

C++中程序存储空间除栈空间和静态区外,每个程序还拥有一个内存池,这部分内存被称为或堆(heap).程序可以用堆来存储动态分配的对象,即那些在程序运行时创建的对象.动态对象的生存期由程序来控制 ,当动态对象不再使用时,程序必须显式的销毁它们.new操作符就是从自由存储区上为对象动态分配内存空间的.这里的自由存储区可以是堆,或者静态区. 1.new和delete的使用 C++中通过一对运算符new和delete来完成动态内存分配.new,在动态内存中为对象分配空间并返回一个指向该对象的指针,我们可

公司的程序和数据库部署在阿里云上,数据库使用的是阿里云的RDS,这天,经理在开发群中发了一个信息: 您的RDS实例rm********0oq的磁盘在过去一周平均使用率已超过80.%,建议您对实例规格进行升级,以免磁盘资源不足,影响业务运行.详情请您查看您阿里云注册邮箱中的邮件. 1.首先我在Navicat上远程delete阿里云RDS数据表中的数据, 找到对应的表,然后delete 删除部分数据,单个表中的数据达五千万条,所以操作起来很笨重.(懊恼啊,为什么当初没有做分表操作..) 按照产品经理

一.关闭IIS HTTPRERR日志功能 默认情况下,2003服务器会把所有IIS访问错误的记录写入 C:WINDOWSsystem32LogFilesHTTPERR 下的 log 文件中,如果访问量比较大,可能一段时间后 日志文件可能会占满C盘空间,导致服务器死机 同时因为要写入所有的IIS访问记录,如果访问量较大会大大增加服务器CPU占用率 关闭HTTPERR的方法 运行里输入 regedit 进入注册表编辑器 [HKEY_LOCAL_MACHINESYSTEMCurrentControlS

前言 最近面试过程中遇到问Elasticsearch的问题不少,这次总结一下,然后顺便也了解一下Elasticsearch内部是一个什么样的结构,毕竟总不能就只了解个倒排索引吧.本文标题就是我遇到过的两个问题,所以此次基本上只是围绕着这两个问题来总结. ES写入数据 在介绍写入数据的过程时,先明确一下ES中的一些关键性的概念: Clouster:集群,由一到N个Elasticsearch服务节点组成. Node:节点,组成Elasticsearch集群的基本单元,单个集群内节点名称唯一.通常一个

问题描述:Oracle表空间创建到了C盘,发现C盘的空间不够,现在将表空间的文件转移到D盘下. 操作方法: 1. 先登录sqlplus,登录用户.在cmd中输入:sqlplus /nologSQL>conn system/system@orc  (system:用户名,system:密码,orc:数据库实例名,即数据库名) 2.修改表空间为Offline状态.SQL>alter tablespace YUANYT offline; (YUANYT:数据表空间名称) 3.拷贝YUANYT数据表空

转载 http://blog.csdn.net/wyzxg/article/details/4971843 今天发现一台服务器的home空间满了,于是要清空无用的文件,当我删除文件后,发现可用空间没有变化 os:centos4.7 现象: 发现当前磁盘空间使用情况: [root@ticketb ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/sda1 981M 203M 729M 22% / none 16G 0 16G 0%

创建数据表空间create tablespace stbss datafile 'E:\oracle\product\10.2.0\oradata\orcl\stbss_temp01.dbf' size 100m autoextend on next 32m maxsize 2048m ---------------------------------stbss 是表空间名称D:xxxxx.dbf 是你表空间数据的存放地址和文件名称size 100m 开始是100M的大小autoextend o

linux删除文件未释放空间问题处理 或者 /根分区满了 (我的根分区是/dev/sda1,/dev/sda1满了) http://blog.csdn.net/donghustone/article/details/7085240 linux里的文件被删除后,空间没有被释放是因为在Linux系统中,通过rm或者文件管理器删除文件将会从文件系统的目录结构上解除链接(unlink).然而如果文件是被打开的(有一个进程正在使用),那么进程将仍然可以读取该文件,磁盘空间也一直被占用.解决方法:1.先df

使用hive访问elasticsearch的数据 1.配置 将elasticsearch-hadoop-2.1.1.jar拷贝到hive/lib hive -hiveconf hive.aux.jars.path=/usr/local/hive-1.2.1/lib/elasticsearch-hadoop-2.1.1.jar 或者配置: hive-site.xml <property> <name>hive.aux.jars.path</name> <value&

使用spark访问elasticsearch的数据,前提是spark能访问hive,hive能访问es http://blog.csdn.net/ggz631047367/article/details/50445832 1.配置 cp elasticsearch-hadoop-2.1.1/dist/elasticsearch-hadoop-2.1.1.jar /usr/local/spark-1.5.2/lib/ 2.修改配置文件/usr/local/spark/conf/hive-site.

一 更新整个文档 更新整个文档的方法和存放数据的方式是相同的,通过PUT 127.0.0.1/test/test/1  我们可以把test/test/1下的文档更新为新的文档 例: PUT 127.0.0.1:9200/test/test/1 参数 { "newdata":"yes" } 响应 { "_index": "test", "_type": "test", ", ,

用sudo apt-get install gitlab-ci-multi-runner安装应用都会出现“gzip: stdout: No space left on device”的问题. boot文件里面存放的是系统引导文件和内核的一些东西,一般空间是足够的,大家都知道linux内核一直在更新,跟新后,旧的内核就不在使用,但旧的内核文件还在boot里面,占据着空间,更新几次过后boot文件就会被占满,显示boot磁盘空间不足.这时为了更新需要将不用的内核文件删除,释放空间. 在终端下察看已经

Elasticseach目前作为查询搜索平台,的确非常实用方便.我们今天在这里要讨论的是如何做数据备份和type删除.我的ES的版本是2.4.1. ES的备份,可不像MySQL的mysqldump这么方便,需要一个插件进行数据的导出和导入进行备份和恢复操作.这里要说的插件是elasticdump. elasticdump的安装: [root@localhost ~]# yum install elasticdump 已加载插件:fastestmirror, product-id, subscri

Logstash作为一个数据处理管道,提供了丰富的插件,能够从不同数据源获取用户数据,进行处理后发送给各种各样的后台.这中间,最关键的就是要对数据的类型就行定义或映射. 本文讨论的 ELK 版本为 5.5.1. 为什么要定义数据 Elastisearch不仅是一个强大的全文检索引擎,它还能够对一些数据类型进行实时的统计运算,相关的结果可以通过Kibana的图表展现出来.如果数据类型没有正确的定义,那么Elasticsearch就无法进行运算了,因此,虽然数据类型的定义需要花一点时间,但你会收到意

解决Ubuntu“下载额外数据文件失败 ttf-mscorefonts-installer”的问题 发表于 2017-09-15 | 更新于 2018-04-29 | 分类于 Linux | 评论数: 0 | 阅读次数: 最近开机总是遇到一段提示,内容大概是这样: 下载额外数据文件失败以下软件包要求安装后下载附加数据,但其数据无法下载或无法处理.ttf-mscorefonts-installer稍后系统将自动重试下载,您也可以手工立即重试.执行此命令需要有活动的网络连接. 开始也挺烦恼,总是解决

Major GC 是清理老年代. Full GC 是清理整个堆空间—包括年轻代和老年代.