使用velero进行kubernetes灾备
使用velero可以对集群进行备份和恢复,降低集群DR造成的影响。velero的基本原理就是将集群的数据备份到对象存储中,在恢复的时候将数据从对象存储中拉取下来。可以从官方文档查看可接收的对象存储,本地存储可以使用Minio。下面演示使用velero将openstack上的openshift集群备份恢复到阿里云的openshift上。
环境要求:kubernetes >1.7;openshift >3.7
注意:本次使用的velero镜像来自官方dockerhub,版本为v1.2.0-beta.1,而非来自配置文件中的registry.cn-hangzhou.aliyuncs.com/acs/velero:latest
。建议采用最新镜像,经验证v1.1.0
版本的镜像会出现velero无法在1min内同步对象存储的问题(实际同步为1h)。
安装velero
该步骤需要在openstack和阿里云的openshift上执行,一个用于创建backup,一个执行restore。
使用阿里云oss需要特定的插件支持,velero的安装可以参见阿里云官方文档。
首先需要创建bucket,创建RAM用户并授权该用户,用户所需要的权限如下,以ecs
开头的用于操作云盘快照,以oss
开头的用于操作oss bucket。
{
"Version": "1",
"Statement": [
{
"Action": [
"ecs:DescribeSnapshots",
"ecs:CreateSnapshot",
"ecs:DeleteSnapshot",
"ecs:DescribeDisks",
"ecs:CreateDisk",
"ecs:Addtags",
"oss:PutObject",
"oss:GetObject",
"oss:DeleteObject",
"oss:GetBucket",
"oss:ListObjects"
],
"Resource": [
"*"
],
"Effect": "Allow"
}
]
}
修改官方项目中的install/credentials-velero
文件,内容如下,用于连接oss bucket:
ALIBABA_CLOUD_ACCESS_KEY_ID=<ALIBABA_CLOUD_ACCESS_KEY_ID>
ALIBABA_CLOUD_ACCESS_KEY_SECRET=<ALIBABA_CLOUD_ACCESS_KEY_SECRET>
ALIBABA_CLOUD_OSS_ENDPOINT=<ALIBABA_CLOUD_OSS_ENDPOINT>
在shell中设置如下变量,分别用于设置BackupStorageLocation和VolumeSnapshotLocation。REGION
可以从阿里云backet的页面看到,如oss-cn-beijing.aliyuncs.com
的REGION
就是beijing
BUCKET=<YOUR_BUCKET>
REGION=<YOUR_REGION>
按照官方文档执行如下步骤即可创建velero
kubectl create namespace velero
kubectl create secret generic cloud-credentials --namespace velero --from-file cloud=install/credentials-velero
kubectl apply -f install/00-crds.yaml
sed -i "s#<BUCKET>#$BUCKET#" install/01-velero.yaml
sed -i "s#<REGION>#$REGION#" install/01-velero.yaml
kubectl apply -f install/01-velero.yaml
配置文件install/01-velero.yaml中使用的镜像是从gcr.io/heptio-images/velero:latest同步的,可以在官方release中查看当前的最新版本
# sync from gcr.io/heptio-images/velero:latest
image: registry.cn-hangzhou.aliyuncs.com/acs/velero:latest
为了方便执行,可以下载velero命令行工具,拷贝到系统$PATH
路径即可使用
velero的使用
velero的使用推荐观看该视频,讲解的比较详细。所有支持的命令可以通过--help
选项查看
velero会定期同步对象存储中的backup操作(新增/删除)
手动备份
备份集群的所有资源
velero backup create ${BACKUP_NAME}
--include-namespaces
选项可以指定备份某些命名空间下面的资源
velero backup create ${BACKUP_NAME} --include-namespaces ${NAMESPACE1},${NAMESPACE2}
--exclude-namespaces
选项可以指定备份排除某些命名空间下面的资源
velero backup create ${BACKUP_NAME} --exclude-namespaces ${NAMESPACE1},${NAMESPACE2}
--include-resources
选项可以指定备份哪些资源类型;--exclude-resources`可以指定排除某些资源类型
velero backup create ${BACKUP_NAME} --include-resources pod,secret
--ttl
可以指定backup
的生存周期,在ttl
超时后,backup
会被定期清理,ttl
默认30天
删除backup
使用--confirm
可以直接删除备份,无需确认
velero backup delete ${BACKUP_NAME} --confirm
定期backup
定期备份类似kubernetes的cronjob,会定期上传backup到对象存储。在首次执行velero schedule
会执行一次数据备份。
# Create a backup every 6 hours
velero create schedule ${SCHEDULE_NAME} --schedule="0 */6 * * *"
# Create a backup every 6 hours with the @every notation
velero create schedule ${SCHEDULE_NAME} --schedule="@every 6h"
# Create a daily backup of the web namespace
velero create schedule ${SCHEDULE_NAME} --schedule="@every 24h" --include-namespaces web
# Create a weekly backup, each living for 90 days (2160 hours)
velero create schedule ${SCHEDULE_NAME} --schedule="@every 168h" --ttl 2160h0m0s
restore
从backup创建restore
velero restore create ${RESTORE_NAME} --from-backup ${BACKUP_NAME}
从backup创建restore,restore默认名为 ${BACKUP_NAME}-<timestamp>
velero restore create --from-backup ${BACKUP_NAME}
从schedule最新一次的backup创建restore
velero restore create --from-schedule ${SCHEDULE_NAME}
指定backup中的某些资源创建restore
velero restore create --from-backup backup-2 --include-resources pod,secret
velero Hook
velero支持两种Hook:Pre Hook
和Post Hook
,分别表示在backup前执行和在backup后执行
pre.hook.backup.velero.io/container
pre.hook.backup.velero.io/command
pre.hook.backup.velero.io/on-error
pre.hook.backup.velero.io/timeout
post.hook.backup.velero.io/container
post.hook.backup.velero.io/command
post.hook.backup.velero.io/on-error
post.hook.backup.velero.io/timeout
可以通过两种方式注入Hook:Pod annotation和Backup spec
需要注意的是Hook执行失败会导致backup操作失败,因此除非必要,请不要设置Hook
velero debug
查看backup的详细信息,带上detail可以查看备份的资源内容
velero backup describe <backupName> --detail
查看backup的服务日志
velero backup logs <backupName>
查看restore 的详细信息
velero restore describe <restoreName> --detail
查看restore 的服务日志
velero restore logs <restoreName>
查看velero服务日志
kubectl logs deployment/velero -n velero
download backup
使用velero backup download ${BACKUP_NAME}
可在本地生成一个backup的压缩包,包含backup的各个资源
velero的删除
执行以下命令可以删除velero
kubectl delete namespace/velero clusterrolebinding/velero
kubectl delete crds -l component=velero
velero暴露Prometheus metrics
安装后的velero默认不会暴露Prometheus metrics。部署如下service,通过访问http://velero-exporter.velero.svc.cluster.local:8085/metrics
查看metrics信息
apiVersion: v1
kind: Service
metadata:
labels:
velero: exporter
name: velero-exporter
namespace: velero
spec:
ports:
- name: https
port: 8085
protocol: TCP
targetPort: 8085
selector:
component: velero
Disaster recovery
cluster1上创建
velero schedule
实现定期备份cluster1发生DR时,在cluster2上执行如下命令即可
kubectl patch backupstoragelocation <STORAGE LOCATION NAME> \
--namespace velero \
--type merge \
--patch '{"spec":{"accessMode":"ReadOnly"}}'
velero restore create --from-backup <SCHEDULE NAME>-<TIMESTAMP>
kubectl patch backupstoragelocation <STORAGE LOCATION NAME> \
--namespace velero \
--type merge \
--patch '{"spec":{"accessMode":"ReadWrite"}}'
上述为官方解决方案,也可以将cluster2的
backupstoragelocation
直接设置为ReadOnly
,此时cluster将无法创建/删除backup,仅能同步对象存储中的内容这里是一个例子,实现了将一个集群备份到阿里云上
TIPS:
openstack无法直接访问阿里云oss
可以在阿里ECS上创建反向代理,openstack通过反向代理连接阿里云oss。此时需要在velero的配置文件
install/01-velero.yaml
中增加如下地址解析hostAliases:
- hostnames:
- "${BUCKET_NAME}.oss-cn-${REGION}-internal.aliyuncs.com"
ip: "${PROXY_IP}"
在代理情况下,如果在node节点上使用
velero
命令行命令,需要在node节点上添加bucket${BUCKET_NAME}.oss-cn-${REGION}-internal.aliyuncs.com
的地址解析,如在/ets/hosts
中添加如下内容${OSS_PROXY_IP} ${BUCKET_NAME}.oss-cn-${REGION}-internal.aliyuncs.com
进行集群备份的时候需要两个集群的kubernetes版本保持一致
备份集群资源时最好指定需要备份的内容,防止受环境无法备份的资源的影响,如pv/pvc
在cluster1创建backup到cluster2同步到该backup之间的时间差在90s以内,实现代码在
pkg/controller/backup_sync_controller.go
,velero每30s会调调度backupSyncController.run
,backupSyncController.run
函数中会对比backupstoragelocations.velero.io
资源中的lastSyncedTime
字段,当前时间与该字段(上一次同步时间)的时间差大于1min时才会进行同步。status:
lastSyncedTime: 2019-10-25T06:05:49.496158379Z
velero有字段GC功能,一些无法删除或ttl超时的backup会在60min后被GC掉
velero集成了restic,用以备份容器的persistent volumes。使用velero备份persistent volumes时需要persistent volumes支持snapshots功能(快照功能通常由Amazon EBS Volumes, Azure Managed Disks, Google Persistent Disks等提供),否则需要单独使用restic,详见官方文档。
PS:restic不会支持阿里OSS (╬▔皿▔)凸如果没有Ali OSS,也可以通过自行搭建Minio作为对象存储服务
使用velero进行kubernetes灾备的更多相关文章
- Kubernetes Master节点灾备恢复操作指南---升级版
本文档简述了Kubernetes主节点灾备恢复的相关步骤,供在发生k8s master崩溃时操作. 就算是在k8s里部署了etcd群集, 主节点控制组件的高可用节点,灾备恢复也是必须要实现的操作,才能 ...
- 理解 OpenStack 高可用(HA)(1):OpenStack 高可用和灾备方案 [OpenStack HA and DR]
本系列会分析OpenStack 的高可用性(HA)概念和解决方案: (1)OpenStack 高可用方案概述 (2)Neutron L3 Agent HA - VRRP (虚拟路由冗余协议) (3)N ...
- 基于Ceph快照的异地灾备设计
作者:吴香伟 发表于 2017/02/06 版权声明:可以任意转载,转载时务必以超链接形式标明文章原始出处和作者信息以及版权声明 喜欢请点击右边打赏,谢谢支持! 引子 技术改变生活. 越来越方便的手机 ...
- 基于Cloudera Search设计数据灾备方案
当实际项目上线到生产环境中,难以避免一些意外情况,如数据丢失.服务器停机等.对于系统的搜索服务来说,当遇到停机的情况意味着在停机这段时间内,用户都不能通过搜索的相关功能进行访问数据,停机意味着将这一段 ...
- Centos服务器上NFS灾备环境及KVM的搭建及使用
1.概述 由于在单台服务器上搭建灾备环境需要KVM和NFS的支持,下面先列出KVM的搭建流程,再列出使用NFS实现单台服务器灾备的流程. A.搭建KVM环境 1>.主机环境准备 Linux Sy ...
- SQLServer 2014 本地机房HA+灾备机房DR解决方案
SQLServer 2014 主数据中心HA+灾备机房DR解决方案 SQLServer 2008 的时候使用 local WSFC+DR Mirror方式,对象是单数据库 两个单独的 WSFC 上使用 ...
- mysql灾备演练问题
前期写的mysql热备份脚本恢复,还没有正式用到过,但是今天演练灾备恢复,但是遇到几个问题. 测试环境: 搭建mysql,安装xtrabackup vim /etc/yum.repos.d/Perco ...
- 云区域(region),可用区(AZ),跨区域数据复制(Cross-region replication)与灾备(Disaster Recovery)(部分1)
本文分两部分:部分1 和 部分2.部分1 介绍 AWS,部分2 介绍阿里云和OpenStack云. 1. AWS 1.1 AWS 地理组件概况 AWS 提供三种地理性组件: Regions:区域,即A ...
- MySQL灾备恢复在线主从复制变成主主复制及多源复制【转】
生产主主复制(A<--->B),和灾备主从复制(B--->C).当生产出现问题时,数据写入切换到灾备数据库,待生产恢复后,将灾备回写到生产.步骤如下: 1.灾备与生产其中一台建立主主 ...
随机推荐
- Asp.Net中Global报错,关键字也不变色问题
原因是我把Global名字改了,使用默认名字就好了
- scrapy学习笔记(一)
环境:Windows 7 x64 Python3.7.1 pycharm 一.安装scrapy 1.1linux系统使用:pip install scrapy 1.2Windows系统: pi ...
- Ansible Jinja2 模板
1.jinja2渲染NginxProxy配置文件 jinja2 房屋建筑设计固定的? jinja2模板与Ansible关系 Ansible如何使用jinja2模板 template模块 拷贝文件? t ...
- Java获取客户端真实IP地址
Java代码 import javax.servlet.http.HttpServletRequest; /** * 获取对象的IP地址等信息 */ public class IPUtil { /** ...
- PHP 数组函数大全
PHP数组函数是核心的一部分.无需安装即可使用这些函数 函数名称 描述 array_change_key_case 将数组中的所有键名修改为全大写或小写 array_chunk 将一个数组分割成多个 ...
- Ext学习之路——Ext.define
Ext.define('My.awesome.Class', { someProperty: 'something', someMethod: function() { alert(s + this. ...
- maven 学习---NetBeans IDE集成Maven
NetBeans6.7更新版本已经内置对Maven支持.如遇以前的版本,Maven插件在插件管理器中可用.我们正在使用NetBeans在这个例子中使用6.9. 在NetBeans一些特点如下 您可以从 ...
- Context都没弄明白,还怎么做Android开发
转载:https://www.jianshu.com/p/94e0f9ab3f1d Activity mActivity =new Activity() 作为Android开发者,不知道你有没有思考过 ...
- [b0010] windows 下 eclipse 开发 hdfs程序样例 (二)
目的: 学习windows 开发hadoop程序的配置 相关: [b0007] windows 下 eclipse 开发 hdfs程序样例 环境: 基于以下环境配置好后. [b0008] Window ...
- springboot测试启动报错java.lang.IllegalStateException: Unable to find a @SpringBootConfiguration, you need to use @ContextConfiguration or @SpringBootTest(classes=...) with your test
springboot测试启动报错: java.lang.IllegalStateException: Unable to find a @SpringBootConfiguration, you ne ...