1. 环境配置

要将本地文件上传到阿里云oss中, 必须使用阿里云提供的工具 ossutil, 有32位,也有64位的, Linux和Windows都有.具体可以到阿里云官网下载

官网及文档: https://helpcdn.aliyun.com/document_detail/120075.html?spm=a2c4g.11186623.2.45.637b1c7aEqbumo

本文以Linux系统为例:

下载工具:
wget http://gosspublic.alicdn.com/ossutil/1.6.7/ossutil64
修改文件执行权限:
chmod 755 ossutil64
使用交互式配置生成配置文件:
./ossutil64 config

该命令将创建一个配置文件,在其中存储配置信息。
请输入配置文件路径(默认为:/home/user/.ossutilconfig,回车将使用默认路径。如果用户设置为其它路径,在使用命令时需要将--config-file选项设置为该路径):
未输入配置文件路径,将使用默认配置文件:/home/user/.ossutilconfig。
对于下述配置,回车将跳过相关配置项的设置,配置项的具体含义,请使用"help config"命令查看。
请输入endpoint:http://oss-cn-hangzhou.aliyuncs.com
请输入accessKeyID:yourAccessKeyID
请输入accessKeySecret:yourAccessKeySecret
请输入stsToken:
endpoint:填写Bucket所在地域的域名信息,可参考访问域名和数据中心。
accessKeyID:查看方式请参考创建AccessKey。
accessKeySecret:查看方式请参考创建AccessKey。
stsToken:非必配项,若采用STS临时授权方式访问OSS需要配置该项,否则置空即可。stsToken生成方式参考临时访问凭证。
说明 更详细的配置文件说明可参考 https://helpcdn.aliyun.com/document_detail/120072.html?spm=a2c4g.11186623.2.21.409c448ahCrIHZ#concept-303826 。

配置完成后,可以用如下命令进行测试:

ossutil64 cp /etc/fatab oss://aliyunoss-backup/DB_DATA/

# aliyunoss-backup 为我的oss Bucket名称.DB_DATA为数据库备份目录.

如果你在第一步输入了 config file path, 执行上传命令的时候必须要加上指定的 config file path, 否则到默认的地方/root/.ossutilconfig是找不到的.如:

ossutil64 cp /etc/fatab oss://aliyunoss-backup/DB_DATA/ --config-file=/path to config file/filename

2. 配置示例

说明, 如下脚本是本人用的备份MySQL数据库并上传到阿里云oss存储.

 #!/bin/bash
# mysql_backup.sh: backup mysql databases and keep newest days backup.
#
# ${db_user} is mysql username
# ${db_password} is mysql password
# ${db_host} is mysql host
# —————————–
#/root/mysql_backup.sh
# everyday : AM execute database backup
# * * * /root/mysql_backup_to_oss.sh
#/etc/cron.daily # the directory for story your backup file. #
backup_dir="/opt/backup/mysql/" # 要备份的数据库名 #
all_db="mydb1 mydb2 mydb3" # 要保留的备份天数 #
backup_day= #数据库备份日志文件存储的路径
logfile="/var/log/mysql_backup.log" # Aliyun OSS Bucket Name.
bucket_name=aliyunoss-backup # local IP address
local_ip=`hostname -i` # date format for backup file (dd-mm-yyyy) #
time="$(date +"%Y-%m-%d")" # mysql, ${mysqldump} and some other bin's path #
mysql="/usr/bin/mysql"
mysqldump="/usr/bin/mysqldump" # the directory for story the newest backup #
test ! -d ${backup_dir} && mkdir -p ${backup_dir} #备份数据库函数#
mysql_backup()
{
# 取所有的数据库名 #
for db in ${all_db}
do
backname=${db}.${time}
dumpfile=${backup_dir}${backname} #将备份的时间、数据库名存入日志
echo "------"$(date +'%Y-%m-%d %T')" Beginning database "${db}" backup--------" >>${logfile}
${mysqldump} --login-path=my3306 ${db} > ${dumpfile}.sql >>${logfile} >& #开始将压缩数据日志写入log
echo $(date +'%Y-%m-%d %T')" Beginning zip ${dumpfile}.sql" >>${logfile} #将备份数据库文件库压成ZIP文件,并删除先前的SQL文件. #
tar -czvf ${backname}.tar.gz ${backname}.sql >& && rm ${dumpfile}.sql >>${logfile} >& #将压缩后的文件名存入日志。
echo "backup file name:"${dumpfile}".tar.gz" >>${logfile}
echo -e "-------"$(date +'%Y-%m-%d %T')" Ending database "${db}" backup-------\n" >>${logfile}
done
} delete_old_backup()
{
echo "delete backup file:" >>${logfile}
# 删除旧的备份 查找出当前目录下七天前生成的文件,并将之删除
find ${backup_dir} -type f -mtime +${backup_day} | tee delete_list.log | xargs rm -rf
cat delete_list.log >>${logfile}
} upload_backups_toAliyunOSS()
{
# upload backfile to Aliyun OSS bucket
for db in ${all_db}
do
backname=${db}.${time}
echo "upload ${backname}.tar.gz to AliyunOSS begin at "$(date +'%Y-%m-%d %T') >>${logfile}
### Upload to AliyunOSS by storage Monthly ###
ossutil64 cp ${backname}.tar.gz oss://${bucket_name}/DB_DATA/$(date +'%Y%m')/${local_ip}/ -f
echo "upload ${backname}.tar.gz to AliyunOSS done at "$(date +'%Y-%m-%d %T') >>${logfile}
done
} #进入数据库备份文件目录
cd ${backup_dir} mysql_backup
delete_old_backup
upload_backups_toAliyunOSS echo -e "========== mysql backup && upload_to_AliyunOSS done at "$(date +'%Y-%m-%d %T')" ==========\n\n">>${logfile}
#cat ${logfile}

MySQL备份脚本(压缩并上传到阿里云OSS)

OSS中存储格式:

备份日志:

3. MySQL认证登录配置

在上述脚本中使用到了MySQL认证登录, 使用mysql_config_editor工具提前配置好MySQL的认证登录.

mysql_config_editor是在MySQL-5.6以后提供的, 这个工具可以认证信息加密存储在.mylogin.cnf中,通常这个文件在Linux用户的家目录,当然password信息是加密的,无需担心泄露问题, 当然也不需要每次登录都输入密码, 更不用讲密码写入脚本或配置文件中, 登录MySQL只需要使用认证信息登录即可. 在一定程度上保障了数据库的安全.

mysql_config_editor使用方法:

mysql_config_editor set --login-path=[认证信息名] user=[用户名] --password
#认证信息名是该条认证信息的名称,后续登录时直接使用认证信息名即可登录,无需再次输入密码。
#这里需要注意的是密码里面不能含有特殊字符,建议创建一个新的用户来进行备份操作
mysql --login-path=[认证信息名]
#直接使用认证信息名来登录

如:

mysql_config_editor set --login-path=my3306 --user=root --socket=/opt/mysql/mysql.sock --password

输入密码后,就建立了认证信息文件my3306, 下次登录MySQL数据库, 就不用输入密码了,使用如下命令即可免密登录mysql:

mysql --login-path=my3306

MySQL备份:
mysqldump --login-path=my3306 py3db > py3db.sql

无需输入MySQL密码, 即可执行命令.

备份MySQL数据库并上传到阿里云OSS存储的更多相关文章

  1. 前端(react)上传到阿里云OSS存储 实例

    需求背景 由于现有的后台管理系统,上传的视频越来越大,加上上传视频较慢,后端小哥提出直接从前端上传视频或者其他文件到阿里云OSS存储. 阿里云OSS 阿里云OSS文档介绍,这里不做过多赘述 安装 原本 ...

  2. Linux下自动备份MySQL数据库并上传到远程FTP服务器

    Linux下自动备份MySQL数据库并上传到远程FTP服务器且删除指定日期前的备份Shell脚本 说明:  1.备份MySQL数据库存放目录/var/lib/mysql下面的xshelldata数据库 ...

  3. Windows环境下用C#编程将文件上传至阿里云OSS笔记

    Windows环境下用C#编程将文件上传至阿里云OSS笔记 本系列文章由ex_net(张建波)编写,转载请注明出处. http://blog.csdn.net/ex_net/article/detai ...

  4. Java下载https文件上传到阿里云oss服务器

    Java下载https文件上传到阿里云oss服务器 今天做了一个从Https链接中下载音频并且上传到OSS服务器,记录一下希望大家也少走弯路. 一共两个类: 1 .实现自己的证书信任管理器类 /** ...

  5. Linux本地数据上传到阿里云OSS

    这篇文章主要是介绍如何将服务器本地的数据上传到阿里云OSS的指定bucket中,最重要的参考文档是数据迁移单机部署.我第一次上传数据到OSS上时,步骤要比前面的链接中介绍的要麻烦,ossimport工 ...

  6. C# .net Ueditor实现图片上传到阿里云OSS 对象存储

    在学习的时候,项目中需要实现在Ueditor编辑器中将图片上传到云储存中,老师演示的是上传到又拍云存储,既然看了一遍,直接照搬不算本事,咱们可以依葫芦画瓢自己来动手玩玩其它的云存储服务. 现在云计算产 ...

  7. ThinkPHP 文件上传到阿里云OSS上(干货)

    参考:http://www.thinkphp.cn/extend/789.html 1.前往阿里云github下载SDK包:https://github.com/aliyun/aliyun-oss-p ...

  8. django 文件上传(阿里云oss)下载(支持大文件下载)

    1.文件上传 Models 设计 class Upload_File(models.Model): image = models.FileField(upload_to='file/%Y/%m',de ...

  9. egg-multipart + el-upload 实现带参图片上传至阿里云OSS

    egg-multipart有两种模式:file和stream el-upload参数传递有两种方式:利用自带参数data和手动添加参数 egg-multipart介绍 一.file 模式下的带参传递 ...

随机推荐

  1. Hive行列转换

    Hive行列转换   1.行转列 (根据主键,进行多行合并一列) 使用函数:concat_ws(‘,’,collect_set(column))  collect_list 不去重 collect_s ...

  2. Echarts 不能百分比显示或显示有问题

    1,设折线图宽为100%(如:容器div的class=“RiBarBot”宽为880px),刚初始化时隐藏折线图(或后期刷新.隐藏与显示折线图时),当点击显示折线图时,获取到的宽只有100px,并不是 ...

  3. Zuul【自定义Filter】

    实际业务中,如果要自定义filter过滤器,只需集成ZuulFIlter类即可,该类是个抽象类,它实现了IZuulFIlter接口,我们需要实现几个方法,如下示例: import static org ...

  4. 高可用etcd集群(三节点) + ssl双向认证

    # etcd下载地址 https://github.com/etcd-io/etcd/tags wget https://github.com/etcd-io/etcd/releases/downlo ...

  5. 利用Python进行数据分析 第5章 pandas入门(2)

    5.2 基本功能 (1)重新索引 - 方法reindex 方法reindex是pandas对象地一个重要方法,其作用是:创建一个新对象,它地数据符合新地索引. 如,对下面的Series数据按新索引进行 ...

  6. 【HC89S003F4开发板】9ASM写定时器1

    HC89S003F4开发板ASM写定时器1 一.实现过程 1.外部寄存器设置 扩展 XSFR 采用和 XRAM 同样的访问方式,使用 MOVX A, @DPTR 和 MOVX @DPTR ,A 来进行 ...

  7. 使用querySelector添加移除style和class

    document.querySelector(selector).style.styleName = 样式 对dom节点添加一个样式 document.querySelector(".nam ...

  8. (超实用)前端地址栏保存&获取参数,地址栏传输中文不在乱码

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明.本文链接:https://www.cnblogs.com/autoXingJY/p/115965 ...

  9. IDEA 导入 NodeJS 项目部署启动

    1.导入项目 2.添加模块 3.配置启动项 4.启动 5.备注 如果不明白,新建一个项目查看配置详情 原文地址:https://blog.csdn.net/tiankongzhichenglyf/ar ...

  10. Linux修改主机名方法

    [root@lyx ~]# vim /etc/hosts   vim代表修改,进入hosts文件进行添加192.168.10.128 hadoop128 [root@lyx ~]# hostname ...