elasticsearch随着保存的数据越来越多,磁盘占用越来越大,有必要进行定期自动清理. 直接上脚本 cat es-index-clear.sh #/bin/bash #查看索引信息 #curl -XGET 'http://172.16.80.28:9200/_cat/indices/?v' #elasticsearch数据存放路径默认为/var/lib/elasticsearch/nodes//indices/ #指定日期(7天前) DATA=`date -d "1 week ago&qu

vue用到echarts时,根据select多选下拉框进行echarts折线图渲染.发现折现只能增加不能减少,后来根据echarts API文档发现 调用方式: chart.setOption(option, notMerge, lazyUpdate);将notMerge设置为true就可以echarts画布删除历史数据重新渲染数据 notMerge是可选项,是否不跟之前设置的option进行合并,默认为false,即合并.

pt-archiver是Percona-Toolkit工具集中的一个组件,是一个主要用于对MySQL表数据进行归档和清除工具.它可以将数据归档到另一张表或者是一个文件中.pt-archiver在清除表数据的过程中并不会影响OLTP事务的查询性能.对于数据的归档,它可以归档到另一台服务器上的另一张表,也可归档到一个文件中,文件可以用LOAD DATA INFILE进行数据装载,这个功能其实就类似是表历史数据的增量删除. 对线上历史数据的归档,本人直接用mysqldump后还原,但是归档后删除历史数

1.按照时间戳范围查询记录 echo "scan 'event_log', { COLUMN => 'cf:sid', TIMERANGE => [1466265600272, 1471622400481]} " |  hbase shell > ./record.txt 其中这里的cf:sid和key一致, 时间戳范围需要按照时间自己转换: #current=`date "+%Y-%m-%d %H:%M:%S"`     #获取当前时间,例:20

新建作业,用于定时清除数据库的历史数据 删除表gps_comm 之前120天即一个季度的数据,例如以下: ELETE FROM gps_comm WHERE (时间 < GETDATE() - 120) 假设想继续删除另外一个表中的前120天的数据,则继续补充就能够了,如: DELETE FROM PzTable WHERE (PZTIME <GETDATE() - 120)

declare maxrows number ; begin .. loop delete from TB_OPT_LOG ', 'yyyy-mm-dd') and rownum <= maxrows; commit; end loop; end; create or replace procedure test as cursor delete_cursor is select table_name from dba_tables where owner='SCOTT' and table_n

//删除历史数据EXCLE 当天前一天的数据都删除 var folder = Path.GetDirectoryName(absFilePath); var files = Directory.GetFiles(folder); foreach (var file in files) { )) { File.Delete(file); } } //删除历史数据 删除文件夹,当天以前的文件夹都删除 var tempFolder = HttpContext.Current.Server.MapPat

2018/12/24 14:00:57  zabbix监控运行一段时间以后,会留下大量的历史监控数据,zabbix数据库一直在增大:可能会造成系统性能下降,查看历史数据室查询速度缓慢. zabbix里面最大的表就是history和history_uint两个表,而且zabbix里面的时间是使用的时间戳方式记录,所以可以根据时间戳来删除历史数据 一.关闭zabbix.http服务 pkill -9 zabbix     service httpd stop 二.清理zabbix历史数据 1.查看数

最近有一张表(内含varchar(max)字段),占用空间达到240G,删除历史数据后几十万条后,空间并未得到释放. 然后用DBCC CLEANTABLE(0,tb_name,100)来释放删除记录后变长字段留下的空间,注意第三个参数为每个事务处理的行数, 强烈建议使用,默认是0,将整个操作作为一个事务处理!全程锁表!! 执行完DBCC CLEANTABLE后,发现表空间已经释放,占用空间几百兆,但此时还没完,我们数据库文件依然很大. 于是我们尝试用DBCC SHRINKFILE来收缩库文件,结

/// <summary> /// 输出指定信息到文本文件 /// </summary> /// <param name="msg">输出信息</param> public void WriteMessage(string msg, string userName) { try { string mainPath = "F:\\log\\";//日志文件路径&配置到Config文件中直接获取 string pa

经常需要定期对某些表删除历史数据,通常这样的表的数据又是非常巨大,为了减轻对线上环境的影响,删除时必须分成小批量来进行. 以前分享过SQLServer的版本. 下面是MySQL版本: delimiter $$ drop procedure if exists proc_delete_old_data; create procedure proc_delete_old_data() begin lp : loop ; then leave lp; end if; ); end loop; end

目录 1. 背景 2. 操作步骤 2.1. 确认数据归档条件,此次操作开发按照非主键列 server_time 按时间进行删除并保存,需要转化为主键列条件. 2.2. 由于历史表文件较大,按月归档.删除,便于操作及后期查询数据,在目标库中,每个月份创建一张 duplicate 表. 2.3. 参照 pt-archiver 工具参数及使用示例,预先编辑好归档命令(参照"5. 场景示例" 中的 "A."). 2.4. 执行归档命令按月归档历史数据. 2.5. 归档完毕后

生产环境zabbix3.2上亿的表数据通过表分区的方式进行历史数据清理 zabbix服务器经常报警io过载,在报警的时候发现是数据库在删除历史数据时耗时较长 数据库积攒了大量的历史数据信息,主要集中在zabbix的history.history_uint.history_str.history_text.trends.trends_uint这几个表中 需要进行清理,两种清理方式: .直接清空表,最省事,速度最快,缺陷是会丢失所有的监控历史数据 具体清理语句如下: use zabbix; trun

文章转载自: https://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ==&mid=2247484022&idx=1&sn=7a4de21570820b82df0170b3c769b169&chksm=eaa82a5edddfa348b3e300ac4bc611ab32a5e6024d20ef7a3cb297a42483fd60f0f459dd33ad&scene=21#wechat_redirect 01 题记 想到删除,基础

zabbix删除历史数据 mysql 表自动分区.删除 ----2016年终总结 二 zabbix清理历史数据是个比较蛋疼的问题,尤其在监控数据较多时,一方面无法彻底释放历史数据空间,一方面数据库删除速度是个瓶颈,housekeeper进程长时间占用过高. 如果对数据库中的history_uint表进行分区,则可以解决以上问题.但此方法不利于数据库的规范管理,仅适用于小规模的监控场景.同时,定时脚本本身也是挖坑,这只是个临时解决方案. DATA_STAMP_ONE_DAY_LONGTH=8640

问题描述: 今天同事说有个zabbix监控数据库历史数据越来越多了, 让我帮忙清一下,顺便熟悉练练手,做个笔记 zabbix监控运行一段时间以后,会留下大量的历史监控数据 zabbix数据库一直在增大可能会造成系统性能下降,查看历史数据室查询速度缓慢. zabbix里面最大的表就是history和history_uint两个表,但是我这边查看到history_log表也是最大的. 而且zabbix里面的时间是使用的时间戳方式记录,所以可以根据时间戳来删除历史数据. 解决方法: 1.首先需要关闭z

我们的zabbix 监控使用 oracle 作为存储, 因此,需要创建基于 基于时间戳的分区表,在此将操作过程记录如下 1. 创建,四个zabbix 最大的表的分区表 create table history_part(    "ITEMID" NUMBER(20,0) NOT NULL ENABLE,     "CLOCK" NUMBER(10,0) DEFAULT '0' NOT NULL ENABLE,     "VALUE" NUMBER

目录 一.项目新建表.主键.索引注意事项 二.举例说明建表.主建.索引的操作方法 2.1 设定需求如下 2.1.1 查询数据库有哪些表空间 2.1.2 本文档假设数据库有这两个业务用户的表空间 2.2 普通表操作方法 2.2.1 新建普通表示例 2.2.2 普通表建立主建示例 2.2.3 普通表建立索引示例 2.3 分区表操作方法 2.3.1 新建分区表示例 2.3.2 分区表建立主建示例 2.3.3 分区表建立索引示例 2.3.4 分区表添加一个分区 2.3.5 分区表删除一个分区 三.表.主

前言 如果不做表分区和删除历史数据规则设置的话,随着时间的推移zabbix的查询性能会变得很低 查看zabbix的性能 通过zabbix的NVPS(每秒处理数值数)来衡量其性能,在zabbix的dashboard上有一个粗略的估值 数据库优化 一.设置独立表空间(innodb_file_per_table=1)  # 5.6版本以上自动开启 以上版本跳过这一段 1.删除history数据 truncate history truncate history_uint 2.备份数据 mysqldum

一名小小的SQL Server DBA想谈一下SQL Server的能力 百度上暂时还没有搜索到相关的个人写的比较有价值的文章,至少在中文网络的世界里面没有 但是在微软的网站有这样一篇文章:<比较 SQL Server 与 IBM DB2> 文章从下面几个方面进行了对比 1.TCO和ROI2.性能和可扩展性3.高可用性4.安全5.管理6.开发效率7.商业智能和数据仓库8.OLTP9.SAP集成 文章介绍得比较牛逼 性能与可扩展性 SQL Server 的性能和可扩展性优于IBM DB2. 基准

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://wangwei007.blog.51cto.com/68019/1833332 随着京东业务的飞速发展, MySQL数据库的使用更加普及.服务器量级飞速增长,这对京东MySQL DBA团队的要求也越来越高.监控系统为数据库管理和维护提供了精确的数据依据,是数据库运维人员的千里眼和顺风耳. 准确.及时.有效的监控,能够使运维人员对生产服务系统运行情况了如指掌.通过分析获得的监控信息