https://blog.csdn.net/hkyw000/article/details/78971201?utm_source=blogxgwz6…

1.zabbix mysql 目录清单 --basedir=/usr/local/web/mysql --datadir=/data/mysql --log-error=/data/mysql/syscent.bc.com.err --pid-file=/data/mysql/syscent.bc.com.pid --socket=/dev/shm/mysql.sock --port=3306 Zabbix 数据文件目录 /data/mysql/zabbix Source server:192.…

在用户home目录越来越大时,就可以考虑将home目录迁移至新的分区. 1.创建新分区. fidisk /dev/sda:用磁盘管理器打开磁盘 n:新建 +10g :设置分区为10G w :保存 保存后使用 partprobe命令同步分区表 2.更新分区后格式化 保存后使用 partprobe命令同步分区表 mkfs.ext4 /dev/sda6 格式化分区 3.创建挂载点,将新建立的分区挂载到挂载点,最后将home下的所有人间备份到分区中. 4.核对一下原home目录与复制后的是否一致. 5.…

背景:ZABBIX的环境是LNMP,MySQL的架构是M-M主备模式,单台服务器SSD硬盘800G.监控主机日渐增多,空间不足,迁移到同样架构下的SAS盘2T空间. 架构:A 192.168.0.100 -> B 192.168.0.101 -> C 192.168.0.102 -> D 192.168.0.103步骤:1.搭建级联从库2.修改zabbix server配置,加读锁,切库3.验证 1.搭建级联从库1> 检查开启B上的两个参数 log_bin log_slave_up…

trends_uint.ibd history history_unit trends CREATE TABLE `trends` ( `itemid` bigint(20) unsigned NOT NULL, `clock` int(11) NOT NULL DEFAULT '0', `num` int(11) NOT NULL DEFAULT '0', `value_min` double(16,4) NOT NULL DEFAULT '0.0000', `value_avg` doubl…

参考文献: http://www.th7.cn/db/mysql/201405/51681.shtml…

Oracle 12c 中迁移表分区或子分区到不同的表空间不再需要复杂的过程.与之前版本中未分区表进行在线迁移类似,表分区或子分区可以在线或是离线迁移至一个不同的表空间.当指定了 ONLINE 语句,所有的 DML 操作可以在没有任何中断的情况下,在参与这一过程的分区或子分区上执行.与此相反,分区或子分区迁移如果是在离线情况下进行的,DML 操作是不被允许的. -- 创建实验表CREATE TABLE p_andy(ID number(10), NAME varchar2(40))PARTITIO…

一.查询zabbix数据库大小 mysql> select table_schema, concat(truncate(sum(data_length)/1024/1024,2),' mb') as data_size,concat(truncate(sum(index_length)/1024/1024,2),'mb') as index_size from information_schema.tables group by table_schema order by data_size d…

一.拆分分区(SPLIT) 在已有分区上添加一个新分区. 如下图所示,将分区03拆分成03和04分区,拆分方式先锁定旧03分区的所有数据,后将旧03分区相关数据迁移到分区04,最后删除旧03上的对应分区数据:这种操作大量消耗io,造成的io日志读写是转移数据的四倍.因此在管理分区上,一般提前添加分区:例如当前03分区没有数据的情况下,我们完成04分区的添加. 添加分区步骤: 1.指定下一个分区的文件组 2.拆分分区 --添加分区 USE [PartionTest] ALTER PARTITION…

需求定义 统计表可能达到每天1000万数据.只查询当天的数据用于统计,可归档三月前的数据.得出分区方案如下: 每天生成一个分区 归档三个月前的分区 基本架构 固定生成12个辅助数据库文件,将每年当月的分区数据存放到当月的数据文件中. 每个源表拥有一个独立的分区方案.且Staging表与源表拥有相同的分区方案. 提前自动按天生成新分区. 每天迁移历史的分区数据到当月备份表中(备份表按月新建) 一.添加文件和文件组(固定12个月文件) 该脚本添加12个月的文件和文件组:此步骤在新建数据库的时候同时完…

编辑人员注释:本文章由AzureCAT 云与企业工程组的高级项目经理Shaun Tinline-Jones 和Chris Clayton 共同撰写. "云服务基础"应用程序也称作"CSFundamentals",展示如何构建数据库支持的 Azure 服务.这包括描述日志记录.配置和数据访问的使用场景.实施体系结构及可复用组件.代码库旨在用于根据 Windows Azure 客户咨询团队进行的生产部署,深入挖掘在 Azure 上交付可伸缩的可用服务的最佳实践. 目前大…

1.概述 Kafka的使用场景非常广泛,一些实时流数据业务场景,均依赖Kafka来做数据分流.而在分布式应用场景中,数据迁移是一个比较常见的问题.关于Kafka集群数据如何迁移,今天笔者将为大家详细介绍. 2.内容 本篇博客为大家介绍两种迁移场景,分别是同集群数据迁移.跨集群数据迁移.如下图所示: 2.1 同集群迁移 同集群之间数据迁移,比如在已有的集群中新增了一个Broker节点,此时需要将原来集群中已有的Topic的数据迁移部分到新的集群中,缓解集群压力. 将新的节点添加到Kafka集群很简…

当使用如下语法移动或重建一个lob分区对象,将报错: SQL> alter table SHOW_LOB_STORAGE move lob(DDD) store as (tablespace PARTFORLOB03); ORA-14511: cannot perform operation on a partitioned object   正确的语法如下: alter table <table name> move partition <table partition name…

默认情况下,oracle的分区表对于分区字段是不允许进行update操作的,如果有对分区字段行进update,就会报错——ORA-14402: 更新分区关键字列将导致分区的更改.但是可以通过打开表的row movement属性来允许对分区字段的update操作. 例:创建分区表test_part进行实验 create table TEST_PART(  A1 NUMBERnot null,  A2 DATE      not null,  A3 VARCHAR2(6) not null,  A4…

1. 摘要 随着Apache Hudi变得越来越流行,一个挑战就是用户如何将存量的历史表迁移到Apache Hudi,Apache Hudi维护了记录级别的元数据以便提供upserts和增量拉取的核心能力.为利用Hudi的upsert和增量拉取能力,用户需要重写整个数据集让其成为Hudi表.此RFC提供一个无需重写整张表的高效迁移机制. 2. 背景 为了更好的了解此RFC,读者需要了解一些Hudi基础知识 2.1 记录级别元数据 上图展示了Hudi中每条记录的组织结构,每条记录有5个Hudi元数…

卷组 在安装系统时,就会创建一个rootvg卷组.包含自带硬盘(内置硬盘)和系统逻辑卷,一个系统只能有一个rootvg卷组.一般情况下rootvg卷组最好只包含自带硬盘. 一.创建卷组 在创建卷组之前,系统管理员必须知道如下所列的信息. (1)卷组的名字在系统中必须是唯一的.卷组名要求时一个字符串,长度时1至15字符. (2)要确定新卷组中包含哪些物理卷,并保证这些物理卷再系统中是可用状态,而且没有被其他卷组使用.要能知道这些物理卷的名称. (3)确定新卷组中的物理分区大小,它的范围时1到102…

1.    数据文件在线重命名和迁移 不想先前的版本号.在Oracle12cR1中,数据文件的迁移或重命名不再要求一系列的步骤,比如:将表空间至于仅仅读模式,然后数据文件逻辑等操作.在12cR1中.数据文件能通过SQL语句"ALTERDATABASE MOVE DATAFILE"非常easy的在线完毕.在移动数据文件的过程中,用户能够运行查询,DML和DDL任务.另外,数据文件能在存储间迁移,比如:从非ASM到ASM,反之亦然. 1.1.   重命名数据文件: SQL> ALTE…

摘自“百度百科”. NoSQL,泛指非关系型的数据库.随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展.NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题. 虽然NoSQL流行语火起来才短短一年的时间,但是不可否认,现在已经开始了第二代运动.尽管早期的堆栈代码只能算是一种实…

本博文翻译自Redis官网:http://redis.io/topics/cluster-tutorial        本文档以温和的方式介绍Redis集群,不使用复杂的方式来理解分布式系统的概念. 它介绍了如何建立.测试和使用一个集群,没有详细的覆盖Redis集群说明书 ,只是从用户的角度描述了系统的特性. 不管怎么样,本教程尝试从最终用户的角度来提供关于Redis 集群 可用性和一致性的信息. 注意:本教程需要Redis 3.0版本或者更高. 如果你计划运行一个重要的Redis 集群部署,…

又开了一个新的坑,笔者工作之后维护着一个 NoSQL 数据库.而笔者维护的数据库正是基于社区版本的 Aerospike打造而来.所以这个踩坑系列的文章属于工作总结型的内容,会将使用开发 Aerospike 的各种问题进行总结梳理,希望能够给予大家启发和帮助.第一篇开山之文,就先从Aerospike 公司在16年数据库顶会 VLDB的一篇论文 <Aerospike: Architecture of a Real Time Operational DBMS>展开,来高屋建瓴的审视一下 Aeropi…

一.数据库排名和流行趋势 1.1 Complete ranking 链接: https://db-engines.com/en/ranking 在这个网站列出了所有数据库的排名,还可以看到所属数据库类型等,每个月更新一次.有空可以看看. 1.2 DB-Engines Ranking - Trend Popularity 链接:https://db-engines.com/en/ranking_trend 可以看到Oracle.MySQL.Microsoft SQL Server一直很主流,NoS…

使用场景 许多系统在在使用几年之后数据量不断膨胀,这个时候单表数据量超过2000w+,数据库的查询也越来越慢,而随着时间的推移许多历史数据的重要性可能逐渐下降.这时候就可以考虑使用分区表来将冷热数据分区存储. 常用的使用场景比如sql分析的日志记录,常用的分区字段有按照创建时间.省份.以及业务类型,具体使用需要结合需求 Postgresql官方的建议是单表大小超过了服务器内存大小可以考虑分区(大概的了解了下按照现代的服务器物理性能,单表大小不超过32GB,两千万记录) 分区概念 分区的概念即是将…

 近期总是提到NoSQL这个词汇.起初仅仅知道,应该是一种数据库而已,仅仅是这样的数据库眼下符合当前互联网的需求,应用比較广泛.逐渐发现,当前的各个公司在招聘信息中会有掌握NoSQL的优先等要求.于是,抱着好奇的心理,来查了一些资料,并进行了整理,来分享给大家! 以下的内容来源于百度百科 NoSQL,泛指非关系型的数据库. 随着互联网web2.0站点的兴起,传统的关系数据库在应付web2.0站点,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了非常多难以克服…

ylbtech-杂项:NoSQL NoSQL,泛指非关系型的数据库.随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展.NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题. 虽然NoSQL的流行与火起来才短短一年的时间,但是不可否认,现在已经开始了第二代运动.尽管早期的堆栈代…

1. 目前状况 1.1 表空间未合理规划,导致所有的用户下的所有表都创建在默认的表空间下 oracle 使用过程中未针对特定数据表进行特定的表空间规划,导致目前实例中所有的数据库表都存储中默认的表空间文件(dbf)中,从目前高峰时的性能监测可以看出,oracle 数据所在磁盘使用率为 100%,而其他盘空空如也也没有任何 IO 请求,导致了资源浪费.(涝得涝死,旱得旱死) 1.2 存在 IO 需求量大的查询在高峰期执行 从 oracke 自带的性能监测程序统计分析得到在早上 7点至 10 点为查…

本教程假定您是一只小白,没有Kafka 或ZooKeeper 方面的经验. Kafka脚本在Unix和Windows平台有所不同,在Windows平台,请使用 bin\windows\ 而不是bin/, 并将脚本扩展名改为.bat. 1.   Kafka概述 1.1.      消息队列 (1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除) 点对点模型通常是一个基于拉取或者轮询的消息传送模型,这种模型从队列中请求信息,而不是将消息推送到客户端.这个模型的特点是发送到队列的消息被一个…

本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/bV8AhqAjQp4a_iXRfobkCQ作者简介:郑志彬,毕业于华南理工大学计算机科学与技术(双语班).先后从事过电子商务.开放平台.移动浏览器.推荐广告和大数据.人工智能等相关开发和架构.目前在vivo智能平台中心从事 AI中台建设以及广告推荐业务.擅长各种业务形态的业务架构.平台化以及各种业务解决方案.博客地址:http://arganzheng.life. 背景 最近要把原来做的那套集中式…

该博文用于自己学习记录,内容节选自: https://github.com/digoal/blog/blob/master/201610/20161024_01.md pg_pathman 创建分区表时,需要指定主表的名字,主表必须已存在,主表可以有数据,也可以是空表. 如果主表有数据,那么可以配置是否需要在创建分区时,将数据迁移到分区,(不建议对大表这么做). 如果主表有很多数据,建议使用后台非堵塞式的迁移方法. (调用partition_table_concurrently()函数进行迁移)…

1.目标 我们可以在Kafka集群上执行几个Apache Kafka Operations .因此,在本文中,我们将详细讨论所有Apache Kafka操作.它还包括有助于实现这些Kafka操作的命令.所以,让我们详细讨论所有Kafka Operations. 使用命令进行Apache Kafka操作 2.什么是Apache Kafka Operations? 下面,我们正在讨论卡夫卡的运作,让我们逐一看到它们: 一个.添加和删​​除Kafka主题 我们可以自动和手动添加和删除Kafka主题.添…

背景: zabbix 数据库迁移,搭建主从,主是5.6.25,从是5.7.15,流式备份应用 redo.log 之后,change master 和reset slave 时报出如下错误 mysql> CHANGE MASTER TO -> MASTER_HOST='192.168.40.129', -> MASTER_USER='repl', -> MASTER_PASSWORD='repl_123', -> MASTER_PORT=3306, -> MASTER_L…