对consistencygroup的一些研究和实践
声明:
本博客欢迎转载,但请保留原作者信息!
作者:李人可
团队:华为杭州OpenStack团队
consistency group,直译是一致性组,是Juno版本号cinder新引进的一个概念。顾名思义,里面包括了两个意思。consistency(一致性)和group(组),怎样体现的呢?处于数据保护或者是容灾的考虑,把一批存在公共操作的卷,在逻辑上划成一个组。用户能够很方便的通过操作该组,不须要一个一个得去操作卷。所以针对的操作应该是做快照和做备份。
当前仅仅有E公司的后端支持该特性,该blueprint预计也是E公司提出的。但个人觉得在实际应用中还是十分实用的。属于通用的、公共的接口,能提升存储资源使用的效率
依据当前J版本号代码的实现。改动点有:
- 添加了两张表:cgsnapshots。consistencygroups
- 添加了consistencygroup_id属性,主要在volume表和snapshot表。
- 添加了consistencygroups的配额;
- 提供了consistencygroup的创建、删除、查看的API。
- 提供了consistencygroup_snapshot的创建、删除、查看的API;
作者尚未实现对组备份的功能。在该blueprint的讨论中。作者也提到了兴许要做的工作:
- 在heat层面上也应该理解卷的一致性组概念,应实现对应的接口;
- 在对一致性组做快照前,利用QEMU guest agent暂停GuestOS对文件系统的訪问。等结束后再恢复。
- 支持一致性组的备份,包含在后端存储driver运行下实现对已经挂载卷的备份;
备份功能能够结合当前快照的实现来做,而heat上的尚处于八字没一撇的情况,而暂停GuestOS文件系统。则在进行中,见bp: https://wiki.openstack.org/wiki/Cinder/QuiescedSnapshotWithQemuGuestAgent
个人在J版本号环境下对这个特性做了些尝试。想法是在allinone节点中创建一个组,增加两个卷。然后做统一快照,最后删除组快照。
依照一致性预期结果看到有两个卷快照被创建最后被删除。可是环境没有对接E公司的后端。仅仅有LVM,那就对LVM的代码做简单改动,使之支持主要的组操作。
首先得创建一个一致性组。在LVM的驱动代码中,须要在data['pool']字典中增加一个属性,否则过滤器这关(主要是capibility)是过不去的。 在上报能力的接口中,实现“consistencygroup_support='True'”,能够简单返回空处理:
def create_consistencygroup(self, context, group):
"""Creates a consistencygroup."""
#raise NotImplementedError()
return None
def delete_consistencygroup(self, context, group):
"""Deletes a consistency group."""
#raise NotImplementedError()
return None,[]
这样,一个组就建成了。show的结果(cinder的client尚未实现,仅仅能用CURL測试):
有了组后,開始创建卷,指定consistencygroup_id创建同组的两个卷。
然后准备对组做快照。再次改动LVM的代码。加入create_cgsnapshot方法。功能是在创建组快照时,对组内全部卷做快照(代码实验用,仅做參考):
def create_cgsnapshot(self, context, cgsnapshot_ref):
snapshots = self.db.snapshot_get_all_for_cgsnapshot(context,
cgsnapshot_ref['id'])
model_update = {"status":"available"}
for sn in snapshots:
try:
self.create_snapshot(sn)
except Exception as e:
LOG.error("create snapshot %s fail."%sn)
sn['status'] = 'error'
model_update["status"] = "error" return model_update, snapshots
运行快照后,能够看到,生成了属于这个组的两个快照。并生成了一个consistencygroup_snapshot数据。show的结果:
两个快照:
这时假设再创建一个该组的卷,会报400的错,由于当前组已经有快照无法再改动该组。
“Consistency group b37f1d21-390e-4128-8fd6-2ca4789d9fc2 still has dependent cgsnapshots.”
然后再对LVM代码加入个删除接口(代码实验用,仅做參考):
def delete_cgsnapshot(self, context, cgsnapshot_ref):
snapshots = self.db.snapshot_get_all_for_cgsnapshot(context,
cgsnapshot_ref['id'])
model_update = {'status':'available'}
for sn in snapshots:
try:
self.delete_snapshot(sn)
except Exception as e:
LOG.error("delete snapshot %s fail"%sn)
model_update['status'] = 'error'
sn['status'] = 'error'
return model_update, snapshots
运行后。consistencygroup_snapshot对象消失。伴随着两个快照也被成功删除。
快照自己主动消失:
至此。实现预期结果。
当然这是最简单的场景,且LVM仅仅能实现单节点存储池的场景。多节点根本搞不定。并且非常多场景没有考虑,比方反复创建快照,一个组相应多个volume_type等。待兴许再关注。
整个实验过程不算复杂,但第一次比预期要困难多了,还是有些细节须要去摸索的:
- 创建组的接口必须传入至少一个volume_type,也就以为着一致性组和卷类型的强相关;(这里在ethpad上的讨论有些出入,从接口看能够支持多个volume_type和组的相应关系)
- 后端存储在上报自己的硬件能力时,假设要支持创建一致性组,必须指定一个參数,“consistencygroup_support='True'”。且True必须为字符串;
- 后端存储的驱动代码必须实现相应的方法,创建相关也就是“create_consistencygroup”和"delete_consistencygroup"。快照相关就是“create_cgsnapshot”和“delete_cgsnapshot”;
所以,假设兴许有存储厂商想实现自己的一致性组。在开发过程中注意上述问题。
參考:
https://etherpad.openstack.org/p/juno-cinder-cinder-consistency-groups
https://blueprints.launchpad.net/cinder/+spec/consistency-groups
######
最后, 一些过程中使用的API列举例如以下。供參考:
Type | URL | body | RSP |
ADD consistencygroup | v2/$tenant_id/consistencygroups | { "consistencygroup": { "name":"my_cg", "description": "***", "volume_types": "Type1" }} |
N/A |
GET consistencygroups | v2/$tenant_id/consistencygroups/detail?
all_tenants=1 |
N/A |
{ "consistencygroups": [{ |
DEL consistencygroup | v2/$tenant_id/consistencygroups/$cg_id |
{"consistencygroup": {"force":"True"}} |
N/A |
ADD cg_snapshot | v2/$tenant_id/cgsnapshots | {"cgsnapshot":{ "consistencygroup_id":"***", "name": "my_cg_snapshot", "description": "***"}} |
N/A |
GET cg_snapshot | v1/$tenant_id/cgsnapshots/detail?
all_tenants=1 |
N/A | {"cgsnapshots": [{ "status":"available", "description": "***", "created_at": "***", "consistencygroup_id": "***", "id": "***", "name":"***"}]} |
DEL cg_snapshot | v2/$tenant_id/cgsnapshots/$cgsnapshot_id | N/A | N/A |
对consistencygroup的一些研究和实践的更多相关文章
- 【初码干货】使用阿里云对Web开发中的资源文件进行CDN加速的深入研究和实践
提示:阅读本文需提前了解的相关知识 1.阿里云(https://www.aliyun.com) 2.阿里云CDN(https://www.aliyun.com/product/cdn) 3.阿里云OS ...
- CSS技能汇总,研究及实践
最近一直在研究CSS,因为发现实践中大部分时间都在写CSS,且自己感觉写的很烂,虽然以前看的很多,但却很少有去实践过,更别提研究了,现在发现根本就不是你懂你就会,很多都是你用着用着才真的会了的,于是现 ...
- Redis集群研究和实践(基于redis 3.0.5)
前言 redis 是我们目前大规模使用的缓存中间件,由于它强大高效而又便捷的功能,得到了广泛的使用.现在的2.x的稳定版本是2.8.19,也是我们项目中普遍用到的版本. redis在年初发布了3.0. ...
- Web动效研究与实践
随着CSS3和HTML5的发展,越来越多狂拽炫酷叼炸天的动效在网页设计上遍地开花,根据最新的浏览器市场份额报告,IE6的份额已经降到了5.21%,这简直是一个喜大普奔的消息,做动效可以完全不care低 ...
- dis集群研究和实践(基于redis 3.0.5) 《转载》
https://www.cnblogs.com/wxd0108/p/5798498.html 前言 redis 是我们目前大规模使用的缓存中间件,由于它强大高效而又便捷的功能,得到了广泛的使用.现在的 ...
- Reference SoftReference WeakReference PhantomReference Cleaner 的研究与实践
最近在看netty的时候看到直接内存的相关概念,为了更详细的了解一下具体原理,搜到了一篇不错的文章 http://lovestblog.cn/blog/2015/05/12/direct-buffer ...
- 相位展开(phase unwrapping)算法研究与实践
1. 什么是相位展开? 相位展开(Phase Unwrapping)是一个经典的信号处理问题,它指的是从值区间中恢复原始相位值(原因在于:计算相位时,运用反正切函数,则相位图中提取的相位都是包裹在一个 ...
- 分布式服务弹性框架“Hystrix”实践与源码研究(一)
文章初衷 为了应对将来在线(特别是无线端)业务量的成倍增长,后端服务的分布式化程度需要不断提高,对于服务的延迟和容错管理将面临更大挑战,公司框架和开源团队选择内部推广Netflix的Hystrix,一 ...
- ASP.NET跨平台最佳实践
前言 八年的坚持敌不过领导的固执,最终还是不得不阔别已经成为我第二语言的C#,转战Java阵营.有过短暂的失落和迷茫,但技术转型真的没有想象中那么难.回头审视,其实单从语言本身来看,C#确实比Java ...
随机推荐
- iPhone App开发实战手册学习笔记(9)之设计IOS App的目标
1 前言 如果我们要做一个属于自己的App需要达到那些目标呢,今天就来介绍一下. 2 详述 2.1 关注用户及其需求 你的主要目标永远都是在设计方案之前先想好用户用例.有些开发人员喜欢编写用户故事来确 ...
- CRectTracker类的使用--橡皮筋窗口
CRectTracker(俗称“橡皮筋”类)是一个非常有意思的类.你在Windows中经常看到这样的情况:它可以用做显示边界,你也可以扽它的八个角用来放大缩小,或做框选使用.如何通过编程来实现这种功能 ...
- VC/MFC 在ListCtl 控件中随鼠标移动提示单元格信息
BEGIN_MESSAGE_MAP(CTipListCtrl, CListCtrl) //{{AFX_MSG_MAP(CTipListCtrl) ON_WM_MOUSEMOVE() ON_WM_DES ...
- delphi 网页提交按钮执行点击事件
遍历即可实现,下列代码仅供参考: var i: integer; T: OleVariant; begin T := WebBrowser1.Document; do begin if T.all.i ...
- 简单概率dp(期望)-zoj-3640-Help Me Escape
题目链接: http://acm.zju.edu.cn/onlinejudge/showProblem.do?problemId=4808 题目大意: 有n条路,选每条路的概率相等,初始能力值为f,每 ...
- HDU4869:Turn the pokers(费马小定理+高速幂)
Problem Description During summer vacation,Alice stay at home for a long time, with nothing to do. S ...
- Swift - 使用arc4random()、arc4random_uniform()取得随机数
arc4random()这个全局函数会生成9位数的随机整数 1,下面是使用arc4random函数求一个1~100的随机数(包括1和100) 1 var temp:Int = Int(arc4ra ...
- 一个网友写的栈,问为啥不能迭代。具有__iter__ 和next方法的对象叫迭代器-七七巴巴黄页网
一个网友写的栈,问为啥不能迭代.具有__iter__ 和next方法的对象叫迭代器-七七巴巴黄页网 一个网友写的栈,问为啥不能迭代.具有__iter__ 和next方法的对象叫迭代器 python视频 ...
- Codeforces 475D CGCDSSQ 求序列中连续数字的GCD=K的对数
题目链接:点击打开链接 #include <cstdio> #include <cstring> #include <algorithm> #include < ...
- LAN路由
一.实验的目的: 实现不同子网之前的信息交流 二.如果 1.虚拟子网 VMnet8:192.168.233.0/24 VMnet1:172.16.1.0/24 2.虚拟机vm1 ip:1 ...