python远程备份mysql并压缩】的更多相关文章

import osimport timeimport tarfileimport zipfile'''mysqldumpUsage: mysqldump [OPTIONS] database [tables]OR mysqldump [OPTIONS] --databases [OPTIONS] DB1 [DB2 DB3...]OR mysqldump [OPTIONS] --all-databases [OPTIONS]For more options, use mysqldump --hel…
以前备份binlog时,都是先在本地进行备份压缩,然后发送到远程服务器中.但是这其中还是有一定风险的,因为日志的备份都是周期性的,如果在某个周期中,服务器宕机了,硬盘损坏了,就可能导致这段时间的binlog就丢失了. 而且,以前用脚本对远程服务器进行备份的方式,有个缺点:无法对MySQL服务器当前正在写的二进制日志文件进行备份.所以,只能等到MySQL服务器全部写完才能进行备份.而写完一个binlog的时间并不固定,这就导致备份周期的不确定. 从MySQL5.6开始,mysqlbinlog支持将…
其它环境同理也可解决. 条件:为了使用mysql命令,本机要安装mysql ,我本机安装的是mysql 5.5. 错误1:使用命令 mysqldump -h192.168.1.50 -u root -p123 bdas >D:/test.sql 报错 mysqldump: Got error: 1449: The user specified as a definer ('root'@'%') does not exist when using LOCK TABLES 解决方法:登录远程主机my…
使用Python连接数据库首先需要安装Python的数据库驱动. 我的本地只装了Python,并没有装MySQL,当我使用命令: sudo pip install mysql-python 安装驱动(也就是MySQLdb模块)的时候出现如下错误: EnvironmentError: mysql_config not found 查资料 知道是因为没有安装下面两开发包: libmysqld-dev libmysqlclient-dev 安装: sudo apt install libmysqld-…
#!/usr/bin/python # -*- coding=utf-8 -*- import time import os import datetime import threading from time import ctime,sleep date=time.strftime('%Y-%m-%d',time.localtime(time.time())) dbname=('test','test2') #定义元组必须要有多个,要不则循环里面的字符. dbname2=('test3','…
脚本如下: #!/usr/bin/python ########################################################### ########################################################## # Import required python libraries import os import time import datetime # MySQL database details to which…
Linux下自动备份MySQL数据库并上传到远程FTP服务器且删除指定日期前的备份Shell脚本 说明:  1.备份MySQL数据库存放目录/var/lib/mysql下面的xshelldata数据库到/home/mysql_data里面,并且保存为xshelldata_bak_2012_06_30.tar.gz的压缩文件格式(2012_06_30是指备份执行时当天的日期),最后只保留最近7天的备份 2.上传/home/mysql_data里面的备份文件到远程FTP服务器上,并且只保留最近7天的…
目标:每日定时自动备份Mysql数据库 方案: 1.安装Python: 使用的Python版本是Python3.7.1,下载地址:https://www.python.org/downloads/release/python-371/,安装过程略过. 2.python脚本: #!/usr/bin/env python3 # -*- coding: utf-8 -*- from datetime import date,datetime import os import zipfile impor…
MySQL数据库常用的办法是通过MySQLdump导出sql进行备份,但是不适合数据量很大的数据库,速度,锁表是两个严重的问题.前面写了一遍文章介绍xtrabackup的热备工具,见 http://www.linuxidc.com/Linux/2015-02/113058.htm.下面的脚本是基于xtrabackup实现自动备份数据库的功能. 需求描述: 每天晚上23点,对数据库进行一次完整备份.第二天0-22点,每小时进行一次增量备份.每次备份前把上次的完整备份和23次增量备份移动到指定目录里…
#!/usr/bin/env python # coding: utf- import os import time ''' defined variable ''' databases=['hch'] #定义要备份的数据库名 sql_user='root' #数据库登陆用户 sql_pwd=['] #数据库登陆密码 ''' Defining the remote backup variables ''' jv_test01_ip="192.168.199.193" #备份服务器ip…
centos6.5环境通过shell脚本备份php的web及mysql数据库并做远程备份容灾 系统:centos6.5 1.创建脚本目录 mkdir -p /usr/local/sh/ 创建备份web文件存放目录 mkdir -p /data/backup/www/ 创建备份db文件存放目录 mkdir -p /data/backup/db/ 授权backup用户对所有数据库的操作权限(注意用来备份mysql数据库) GRANT ALL PRIVILEGES ON *.* TO 'backup'…
前几天打算用Python写一个mysql脚本,上Google看了下老外写的,写的挺好的,原地址在http://tecadmin.net/python-script-for-mysql-database-backup/#,所以就给 copy过来了 #!/usr/bin/python ########################################################### # # This python script is used for mysql database…
#远程备份./innobackupex --defaults-file=/etc/my.cnf --no-timestamp --user xxx --host 192.168.1.123 \--password xxxx --stream=tar /tmp |gzip |ssh root@192.168.56.101 "cat - > /data/backup/20180924bak.tar.gz"…
版权声明:本文由张戈 原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/942851001487125915 来源:腾云阁 https://www.qcloud.com/community 一.优点分析 内网传输:和阿里云OSS一样,腾讯云COS同样支持内网和外网文件传输,对于腾讯云服务器,使用内网传输绝对是最快.最稳定的备份方案! 免费方案:看了下腾讯云COS的定价说明,发现对于备份网站来说简直是绝佳搭档,甚至可以说是钻…
一.需求分析 在<python 统计MySQL表信息>这篇博客中,链接如下: https://www.cnblogs.com/xiao987334176/p/9901692.html 已经统计出来了一个MySQL服务器的所有表信息,但是还不够,还缺2个列.分别是备注和是否使用 库名 表名 表说明 建表语句 备注 是否使用 db1 users 用户表 CREATE TABLE `users` (...)   是   log2   CREATE TABLE `log2` (...) 废弃 否 注意…
#!/bin/bash #Mysql 自动备份 压缩并上传到 指定ftp #设想每天凌晨3点备份mysql #编辑crontab配置文件 #00 03 * * * backupmysql.sh #压缩并以"服务器名+时间 "命名打包文件 #数据量小的情况下以mail的方式发送到指定邮箱(需要建立sendmail服务) #数据量大的情况下以ftp的方式传送到指定的ftp服务器(远程ftp需开启) #linzhanghui.blog.chinaunix.net #程序部分以伪代码方式存在.…
在日常的linux运维工作中,大数据量备份与还原,始终是个难点.关于mysql的备份和恢复,比较传统的是用mysqldump工具,今天这里推荐另一个备份工具innobackupex.innobackupex和mysqldump都可以对mysql进行热备份的,mysqldump对mysql的innodb的备份可以使用single-transaction参数来开启一个事务,利用innodb的mvcc来不进行锁表进行热备份,mysqldump备份是逻辑备份,备份出来的文件是sql语句,所以备份和恢复的…
原文地址:http://www.tuicool.com/articles/RZRnq2 Xtrabackup简介 Percona XtraBackup是开源免费的MySQL数据库热备份软件,它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份(对于MyISAM的备份 同样需要加表锁).XtraBackup支持所有的Percona Server.MySQL.MariaDB和Drizzle. XtraBackup优势 : 1.无需停止数据库进行InnoDB热备 2.增量备份MySQL 3.流…
1  因为使用perl脚本编写,安装前应先安装 yum install perl-Time-HiRes -y yum -y install perl-DBD-MySQL.x86_64 一起安装    yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL 2  安装最新版,使用rpm -ivh 命令 tar包下载地址 http://www.percona.com/downloads/Xtr…
多数应用场景下,我们需要对重要数据进行备份.并放置到一个安全的地方,以备不时之需. 常见的 MySQL 数据备份方式有,直接打包复制对应的数据库或表文件(物理备份).mysqldump 全量逻辑备份.xtrabackup 增量逻辑备份等. 常见的数据存储方式有,本机存储.FTP 上传到远程服务器.云存储(如阿里云OSS.七牛云存储等).甚至本地也行. 我们可能不想每次都手动去备份,也不想每次都那么耗时间的去下载,也不想就放在服务器上丢了,因为我们需要异地备份.那我们可以尝试,写个脚本定时备份数据…
本文主要介绍一下阿里云CentOS7下如何对MySql 8.0数据库进行自动备份,并使用.NET Core 将备份文件上传至七牛云存储上,并对整个过程所踩的坑加以记录. 环境.工具.准备工作 服务器:阿里云64位CentOS 7.4.1708版本;并安装MySql 8.0 数据库(如何安装点击) 客户端:Windows 10; SFTP客户端:FileZilla;用来进行文件传输; SSH工具:Putty;用来在Windows 上远程访问CentOS; 编写Shell脚本实现自动备份MySql数…
Percona Xtrabackup备份mysql全库及指定数据库(完整备份与增量备份) Xtrabackup简介 Percona XtraBackup是开源免费的MySQL数据库热备份软件,它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份(对于MyISAM的备份同样需要加表锁).XtraBackup支持所有的Percona Server.MySQL.MariaDB和Drizzle. XtraBackup优势 : 1.无需停止数据库进行InnoDB热备 2.增量备份MySQL 3.流…
一.业务场景 自己现在做的项目基本上已经开发完成,正式开始上线运行,主要包含两个子项目一个是小程序的后台,一个是后台管理系统. 正式开始运行一段时间后,基本上也没什么BUG了,整个项目都已经能够正常的跑起来,程序也能够正常运转.这时候相对来说 系统也比较稳定.这时候自己就在考虑如何来备份数据库数据,做好备份工作是运维工作的必备技能之一,为的就是防止服务器 被黑客进行恶意攻击后,服务器上的所有数据都无法恢复的问题. 二.需求分析 由于自己之前做的工作主要是在内网进行开发,即使有的项目在公网可以正常…
最近写自己的项目,买了阿里云服务器,可以在云上根据自己想到的需求随意使用技术,感觉很爽.备份mysql流程如下: 环境:CentOS Linux release 7.2.1511 (Core) mysql5.6.34 创建存放备份文件的文件夹 mkmir /backup/mysql 创建备份脚本 vi backup.sh mysqldump -u root -p888 familytree | gzip > /backup/mysql/familytree_$(date +%Y%m%d_%H%M…
批处理命令 BAT备份MySQL数据库 作者: 字体:[增加 减小] 类型:转载 时间:2009-07-23我要评论 MySQL数据的备份工具也许有很多,在这我要给大家分享一下通过DOS批处理命令和MySQL.WinRAR命令来进行备份工作.   工作环境 Windows Server 2003 ,MySQL安装目录 D:\MySQL , WinRAR 安装目录 C:\Program Files\WinRAR\WinRAR.exe 备份数据存储的路径为 E:\数据备份,好了下面开始写DOS批处理…
备份 新建一个脚本/root/backup.py,内容如下: #!/usr/bin/env python# -*- coding: utf-8 -*- ''' 脚本作者:昨夜星辰 脚本作用:配合crond服务实现自定义周期备份MySQL数据库(使用innobackupex进行备份) 创建日期:2016年9月22日 ''' import os import datetime import subprocess # MySQL服务root用户的密码 password = 'test' # 用于存放备…
Python数据库备份脚本 #!/usr/bin/env python # author: liudong # -*- coding: utf-8 -*- # filename: db_bak.py import os import time import string import urllib,sys,urllib,json,smtplib from email.mime.text import MIMEText mailto_list=['liudong@philisense.com']…
Mysql最常用的三种备份工具分别是mysqldump.Xtrabackup(innobackupex工具).lvm-snapshot快照.前面分别介绍了:Mysql备份系列(1)--备份方案总结性梳理Mysql备份系列(2)--mysqldump备份(全量+增量)方案操作记录Mysql备份系列(3)--innobackupex备份mysql大数据(全量+增量)操作记录 lvm-snapshot:基于LVM快照的备份1.关于快照:1)事务日志跟数据文件必须在同一个卷上:2)刚刚创立的快照卷,里面…
add by zhj:另外,参考了Xtrabackup之innobackupex备份恢复详解,我用的是Xtrabackup2.2.6版本, 可以成功备份和恢复指定的数据库. 原文:http://www.drupal001.com/2014/02/percona-xtrabackup-mysql/ Xtrabackup简介 Percona XtraBackup是开源免费的MySQL数据库热备份软件,它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份(对于MyISAM的备份同样需要加表锁)…
问题:现在项目中每天都有从其它各个系统发过来的数据文件(存放在/var/data目录下,以.txt结尾),虽然很久以前的文件很少用到,占用了很多空间,却不能删除.于是,想把一个月以前的文件都压缩了传到备份服务器上.目前想到的实现方式有FTP和NFS两种. 具体实现步骤如下: 1. 找到一个月以前的数据文件,然后压缩: 2. 把压缩好的文件上传到备份服务器.此处有2种途径:a.通过ftp上传: b.mount备份到NFS服务器: 3. 上传成功后删除数据文件: 1.ftp实现远程备份的完整shel…