一次生产环境mysql迁移操作(一)数据归档
一次生产环境mysql迁移操作(二)mysql空间释放(碎片整理)
背景
在项目过程中我们经常要对数据库进行迁移、归档、拆分等等操作,现在描述下几种方案
- mysqldump 该命令可以指定导出数据库,该命令可能用时很久
- cp 直接拷贝mysql数据文件,这里会影响业务需要下线mysql
- 使用innobackupex 工具进行备份,这个不影响业务,速度稍快
- 先打lvm快照,然后从快照中备份数据,节省时间
我们有需要将物理盘上的mysql迁移到ssd上,先说一下生产环境一直有数据产生,且数据量达到500G。
方案一:使用mysqldump,不管是导入导出都太耗时,没有一天拿不下
方案二:直接物理磁盘上拷贝也是非常耗时,拷贝过程中需要停服务,这就导致停服务时间太长。
方案三:这个方案本来是很有优势的,但是实际情况导出导入也需要锁表或锁库,也是需要停服务,本来我们就不需要增量拷贝,innobackupex优势体现在增量拷贝。
方案四:拷贝速度快
综合停服务时间以及操作难易度,最终选择了方案四。
下面描述下操作步骤
环境准备
1、创建物理卷
执行命令
pvcreate /dev/vdb
2、创建卷组
vgcreate vgssd /dev/vdb
3、创建mysql数据分区
lvcreate --size280G -n mysql vgssd
4、移除mysql原有数据,并挂载
mv /var/lib/mysql /var/lib/mysql_bak
mount /dev/vgssd/mysql /var/lib/mysql
5、 拷贝线上数据到本地
cp -af remotepath /var/lib/mysql
chown mysql:mysql /var/lib/mysql
执行完上面步骤后,再开始进行归档操作
归档步骤
1、停止mysql以及其他服务
systemctl stop httpd
systemctl stop supervisord
systemctl stop mariadb
umount /var/lib/mysql
执行umount时需要保证各终端退出该目录
2、查看磁盘情况
3、创建快照卷
lvcreate -s --size 180G -n mysql_backup /dev/vgssd/mysql
4、重新绑定mysql,重启服务
mount /dev/vgssd/mysql /var/lib/mysql
systemctl start mariadb
systemctl start httpd
systemctl start supervisord
5、挂载快照卷
mkdir -p /mnt/mysql_temp
mount -o ro,nouuid /dev/vgssd/mysql_backup /mnt/mysql_temp
ls /mnt/mysql_temp
6、拷贝数据,将数据拷贝到本地
mkdir -p /mnt/backup/mysql
cp -a /mnt/mysql_temp /mnt/backup/mysql
7、取消挂载,删除快照卷
umount /mnt/mysql_temp
lvremove /dev/vgssd/mysql_backup
定时归档
暂定为30天,这样才能备份所有数据。
因为需要硬件准备,所以这里只能手动操作
恢复数据
如果磁盘数据丢失需要恢复数据,则执行下面操作
1、关停mysql服务
systemctl stop mariadb
2、修改/etc/my.conf
datadir= /mnt/backup/mysql
3、重启服务
systemctl start mariadb
一次生产环境mysql迁移操作(一)数据归档的更多相关文章
- 生产环境MySQL数据库集群MHA上线实施方案
生产环境MySQL数据库集群MHA上线实施方案 一.不停库操作 1.在所有节点安装MHAnode所需的perl模块(需要有安装epel源) yum install perl-DBD-MySQL -y ...
- 案例分享 生产环境逐步迁移至k8s集群 - pod注册到consul
#案例分享 生产环境逐步迁移至k8s集群 - pod注册到consul #项目背景 多套业务系统, 所有节点注册到consul集群,方便统一管理 使用consul的dns功能, 所有节点hostnam ...
- mysql迁移之巨大数据量快速迁移方案
mysql迁移之巨大数据量快速迁移方案-增量备份及恢复 --chenjianwen 一.前言: 当mysql库的大小达到几十个G或者上百G,迁移起来是一件非常费事的事情,业务中断,导出导入耗费大量的时 ...
- 【转】生产环境MySQL Server核心参数的配置
⑴ lower_case_table_names ● 推荐理由 GNU/Linux 平台,对数据库.表.存储过程等对象名称大小 ...
- 一次生产环境下MongoDB备份还原数据
最近开发一个版本的功能当中用到了MongoDB分页,懒于造数据,于是就研究了下从生产环境上导出数据到本地来进行测试. 研究了一下,发现MongoDB的备份还原和MySQL语法还挺类似,下面请看详细介绍 ...
- RAC环境下误操作将数据文件添加到本地存储
今天碰到个有意思的事情,有客户在Oracle RAC环境,误操作将新增的数据文件直接创建到了其中一个节点的本地存储上. 发现网上去搜的话这种问题还真不少,对应解决方案也各式各样,客户问我选择哪种方案可 ...
- MySQL表操作及数据操作
表操作 表相当于一个文件,其形式与现实中的表格相同.表中的每条记录都有相应的字段,字段就类似于表格的表头. 表操作详细: #对表进行操作(文件) #首先要切换到指定库(即文件夹)下:use db1; ...
- 生产环境MySQL优化
a:硬件的优化: 1. 采用64位cpu,cpu至少4颗,L2缓存越大越好2. 内存要大,32-64G运行1-2个实例,96-128G运行3-4个实例3. 机械盘选用sas盘,转速15000以上,有可 ...
- 生产环境mysql的参数设置不一样,好好的程序,又出错
一.概述 报错信息如下: org.springframework.jdbc.BadSqlGrammarException: ### Error querying database. Cause: c ...
- 马老师 生产环境mysql主从复制、架构优化方案
Binlog日志(主服务器) => 中继日志(从服务器 运行一遍,保持一致).从服务器是否要二进制日志取决于架构设计.如果二进制保存足够稳定,从性能上来说,从服务器不需要二进制日志.默认情况下, ...
随机推荐
- 简约-Markdown教程
##注意 * 两个元素之间最好有空行 * 利用\来转义 我是一级标题 ==== 我是二级标题 ---- #我是一级标题 ##我是二级标题 ##<center>标题居中显示</cent ...
- 阿里云 腾讯云上搭建Samba服务
对于这个主题,鄙人走了很久的坑,最后很抱歉的告诉你. 运营商把Samba服务的端口全部封掉了,所以你根本就没办法访问! 那怎么办,我Windows空间不够,又不想浪费云上的资源. 那就用FTP代替它吧 ...
- RTThread 自动网卡使用问题
最近使用 STM32 测试了一下 lwip 和 esp8266 的网络连接问题,使用 RTThread 的自动网卡时,发现不能很好的自动切换默认网卡,不能满足需求,所以自己简单的改了一下. 一.准备材 ...
- 实验6.交换机MAC地址表简单实验
# 实验6.交换机Mac地址表 本实验用于验证和测试交换机的Mac地址表的特性. 实验组 测试 测试在PC1没有pingPC2时,此时mac表为空 当PC1ping一个其他的ip而不是PC2时,无论是 ...
- nginx 添加 模块
--- title: nginx 添加 模块 date: 2019-10-31 11:21:46 categories: tags: - config - nginx --- 说明: 已经安装好的Ng ...
- python3 中的装饰器总结
前言 python3 中有很多好用的装饰器,本编文章作为个人笔记使用,随时更新. 正文 1. @dataclass 内容来源:chatgpt3.5 @dataclass是一个装饰器,用于给类提供自动生 ...
- Spring学习篇
什么是Spring? Spring是一个轻量级的IoC和AOP容器框架.是为Java应用程序提供基础性服务的一套框架,目的是用于简化企业应用程序的开发,它使得开发者只需要关心业务需求. 常见的配置方式 ...
- MySql常用日期时间查询
-- 某一天所在周的第一天: -- 我们知道国外的星期的第一天是从星期天开始的,所以DAYOFWEEK('2017-3-10')函数的第一天是星期天: SELECT CASE WHEN DAYNAME ...
- DDP:微软提出动态detection head选择,适配计算资源有限场景 | CVPR 2022
DPP能够对目标检测proposal进行非统一处理,根据proposal选择不同复杂度的算子,加速整体推理过程.从实验结果来看,效果非常不错 来源:晓飞的算法工程笔记 公众号 论文: Should A ...
- Mac mysql 5.7启动报错,解决之道 The server quit without updating PID file
导读 晚上捣鼓数据库的时候,将mysql服务停止下,然后就死活启动不起来,这下可把我急坏了,自己数据库上有好多自己的个人项目,错误信息如下 ERROR! The server quit without ...