背景 Greenplum的日常监控点.评判标准,日常维护任务. 展示图层 由于一台主机可能跑多个实例,建议分层展示. 另外,即使是ON ECS虚拟机(一个虚拟机一个实例一对一的形态)的产品形态,实际上也建议分层展示,以示通用性. 主机级图层 1.全局 2.以集群分组 展示图形 1.饼图(正常.警告.严重错误.不可用,占比,数量) 2.热力图(每台主机一个点,颜色描绘正常.警告.严重错误.不可用) 3.列表(正常.警告.严重错误.不可用倒排,TOP 主机) 实例级图层 1.全局 2.以集群分组 展

当业务运行一段时间后,会出现有些表数据量很大,可能对系统性能产生不良的影响,常见的如订单表.登录log表等,这些数据很有时效性,比如我们一般很少去查上个月的订单,最多也就是报表统计会涉及到. 在我们的数据库中,用户登录表就是这种类型的表,一般而言,表中的数据是不可逆的,只有插入操作没有删除或者修改操作,表示在过去一段时间内完成的事实业务数据.比如登录表表示一段时间内用户的登录信息,登录一次游戏就会在数据库中记录一条数据. 1.对于备份这类表的策略是: 第一次备份全表的数据导入到备份表中,也就是全

以前用zabbix,都是简简单单的把服务端.客户端一搭,模板监控项一弄就完了.没怎么真正去弄过优化啊之类的.现在有个场景就是获取zabbix的数据贼慢,得对zabbix进行优化,开始动手分析一下.   先看以下几张图,这是优化前后的对比图:   1)队列数   优化前:     优化后:     通过grafna可视化图形看:       2.zabbix-server上poller进程的性能监控   优化前:       优化后:       3.zabbix-server收集数据时各个进程的

ZooKeeper是一个开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等. Zookeeper设计目的 最终一致性:client不论连接到那个Server,展示给它的都是同一个视图. 可靠性:具有简单.健壮.良好的性能.如果消息m被到一台服务器接收,那么消息m将被所有服务器接收. 实时性:Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息,或者服务器失效的信息.但由于网络延时等原因,Zookeeper不能保证

目录 Zookeeper 是什么 Zookeeper 树状模型 Zookeeper 集群结构 如何使用 ZooKeeper 运行 Zookeeper 步骤1 修改 ZooKeeper 配置文件 步骤 2, 启动 Zookeeper 服务器 步骤 3, 验证 Zookeeper 服务是否有效 搭建 Zookeeper 集群环境 修改 Zookeeper 配置文件 启动 ZooKeeper 集群 验证 Zookeeper 集群环境是否有效 连接 zookeeper 使用 zkCli 连接 Zooke

今天有个任务是需要把之前的历史数据做一个清理. 原历史数据 很多电话号码是放到了一起.所以需要新建一个联系方式表.然后进行增加 新建表格如下: 然后再进行查询数据. SELECT a.uid,substring_index( substring_index( a.data1, ',', b.help_topic_id + 1 ), ',',- 1 ) phoneFROM 表名 aJOIN mysql.help_topic b ON b.help_topic_id < ( length( a.da

1.安装准备 Zabbix4.0对基础架构有一定的要求,对的英文尤其PHP状语从句:MySQL: 类型 内容 服务端运行环境 Linux和PHP与Web服务器和数据库 服务端操作系统 CentOS7.5-1804 PHP PHP 5.4.0(官方要求5.4.0+) Web服务器 Apache2.4.6(官方要求1.3.12+) 数据库 Percona的服务器57-5.7.22(官方要求5.0.3 - 8.0.x) 安装方式 YUM RPM 客户端操作系统 AIX / Linux / Window

ZooKeeper安装模式主要有3种: 单机版(Standalone模式)模式:仅有一个ZooKeeper服务 伪集群模式:单机多个ZooKeeper服务 集群模式:多机多ZooKeeper服务 1 单机版(Standalone模式)安装 ZooKeeper官网下载地址:http://zookeeper.apache.org/releases.html#download 如图所示进行操作: 注意一点,如果不想当小白鼠,请务必下稳定版(stable release),非稳定版安装时可能出各种未知的

前言: 随着互联网技术的不断发展, MySQL 相关生态也越来越完善,越来越多的工具涌现出来.一些公司或个人纷纷开源出一些不错的工具,本篇文章主要介绍几款 MySQL 相关实用工具.提醒下,这里并不介绍 Navicat 等这类图形化操作工具哦. 1. SQL 审核 web 工具 SQL 审核与执行,可能是各个公司或团队比较困扰的事情.若没有平台工具支持,只能通过人工的方式来处理,效率低且质量没办法保证.为了规范操作,提高效率,大多数团队可能会自己开发或引入开源工具.这里介绍两款开源免费的 web

清理8组nodes中表的历史数据,平均每个node中的表有1.5亿条记录,需要根据date_created字段清理8000W数据记录,这个字段没有索引. 环境介绍  线上磁盘空间不足,truncate了许多能动的表,磁盘空间还是占据了87%,我们的nagios报警阀值是80%.所以不断的还会收到email以及短信报警.需要根据时间字段date_created清理,但是在设计之初由于当初的开发人员考虑不足所以date_created字段没有建立索引.另外这些数据可以不用备份,直接删除掉. 问题来了

特别提醒: a.文中测试的Zabbix版本为 3.0.3 . b.清理数据属于高危操作,请在测试环境中验证后再执行线上操作!!! 1.统计数据库中每个表所占的空间: mysql> SELECT table_name AS "Tables", round(((data_length + index_length) / 1024 / 1024), 2) "Size in MB" FROM information_schema.TABLES WHERE table_

整体思路: 1.备份现有系统数据,提供一个可以查询历史的入口(可以查询2015年6月份以前的所有OA产生的流程) 2.删除生产环境中2015年6月份以前的流程 为避免影响考勤,暂定在本月考勤定稿后实施 实施方案: 数据量大的信息主要是流程,主要存放在flow_run流程主表,flow_run_data流程数据表,flow_run_prcs流程审批信息,flow_run_log流程日志表中,清理 思路: ①创建和flow_run_data.flow_run.flow_run_prcs.flow_r

2018/12/24 14:00:57  zabbix监控运行一段时间以后,会留下大量的历史监控数据,zabbix数据库一直在增大:可能会造成系统性能下降,查看历史数据室查询速度缓慢. zabbix里面最大的表就是history和history_uint两个表,而且zabbix里面的时间是使用的时间戳方式记录,所以可以根据时间戳来删除历史数据 一.关闭zabbix.http服务 pkill -9 zabbix     service httpd stop 二.清理zabbix历史数据 1.查看数

Zabbix清理历史数据 Zabbix是个很好的监控软件,随着公司监控项目越来越多,数据越来越多,zabbix负载重,可能造成系统性能下降. Zabbix里面最大的表就是历史记录表,history,history_str,history_uint,trends trends_uint,events.清除数据表之前,做个备份,防患于未然. 方法一:相对安全 脚本内容 #!/bin/bash User="root" Passwd="123456789" Date=`da

生产环境zabbix3.2上亿的表数据通过表分区的方式进行历史数据清理 zabbix服务器经常报警io过载,在报警的时候发现是数据库在删除历史数据时耗时较长 数据库积攒了大量的历史数据信息,主要集中在zabbix的history.history_uint.history_str.history_text.trends.trends_uint这几个表中 需要进行清理,两种清理方式: .直接清空表,最省事,速度最快,缺陷是会丢失所有的监控历史数据 具体清理语句如下: use zabbix; trun

zabbix 由于历史数据过大, 因此导致磁盘空间暴涨,  下面是结局方法步骤 1. 停止 ZABBIX SERER 操作 [root@gd02-qa-plxt2-nodomain-web-95 ~]# killall zabbix_server[root@gd02-qa-plxt2-nodomain-web-95 ~]# lsof -i:10051 2. 停止 mysql 操作 [root@gd02-qa-plxt2-nodomain-web-96 dbdat]# mysqladmin -u

general log&slow query log 对于MySQL的一般查询日志和慢查询日志,开启比较简单,其中公用的一个参数是log_output,log_output控制着慢查询和一般查询日志的输出方向可以是表(mysql.general_log,mysql.slow_log)或者文件(有参数general_log_file和slow_query_log_file配置决定)或者同时输出到表和文件(想不明白,什么时候需要同时输出到表和文件).但是两者受log_output参数影响,输出的目标

一则清理MySQL大表以释放磁盘空间的案例 一.基本情况: 1.dbtest库554G,先清理st_online_time_away_ds(37G)表的数据,保留半年的数据: 1)删除的数据:select count(1),tdate from dbtest.st_online_time_away_ds where tdate < '2017-08-01';(记录数为:462171894) 2)保留的数据:select count(1),tdate from dbtest.st_online_t

小结: 1.避免并行大大事务对磁盘.内存的消耗: MySQL数据文件导致实例空间满的解决办法_空间/内存_常见问题_云数据库 RDS 版-阿里云 https://help.aliyun.com/knowledge_detail/101642.html MySQL实例可能会由于查询语句的排序.分组.关联表产生的临时表文件,或者大事务未提交前产生的binlog cache文件,导致实例空间满,为避免数据丢失,RDS会对实例进行自动锁定,磁盘锁定之后,将无法进行写入操作. 查看数据库的文件大小,分析其

原文:http://blog.chinaunix.net/uid-9411004-id-4139807.html 或许读者还记得,我们在介绍如何创建一个监控项目时,我们介绍过在“配置项目”表单页面上有两个表单项“保留历史数据(天)”和“保留趋势数据(天)”,并且当时我们给出提示,建议为减轻数据库的压力,在配置监控项目时,应尽可能的在“保留历史数据(天)”表单项里输入较小数据.比如说将这个表单项的输入值调整成7天或半个月.那么,在Zabbix系统中为何有“历史数据”和“趋势数据”两种数据呢?它们又

场景:做etcd数据镜像的时候出现如下错误  Error: etcdserver: mvcc: database space exceeded 通过查找官方文档https://coreos.com/etcd/docs/latest/op-guide/maintenance.html 确定解决方案,通过执行命令压缩etcd空间并且整理空间碎片即可 命令如下: #使用API3 export ETCDCTL_API= # 查看告警信息,告警信息一般 memberID: alarm:NOSPACE et