声明:

本博客欢迎转载,但请保留原作者信息!

作者:李人可

团队:华为杭州OpenStack团队

consistency group,直译是一致性组,是Juno版本号cinder新引进的一个概念。顾名思义,里面包括了两个意思。consistency(一致性)和group(组),怎样体现的呢?处于数据保护或者是容灾的考虑,把一批存在公共操作的卷,在逻辑上划成一个组。用户能够很方便的通过操作该组,不须要一个一个得去操作卷。所以针对的操作应该是做快照和做备份。

当前仅仅有E公司的后端支持该特性,该blueprint预计也是E公司提出的。但个人觉得在实际应用中还是十分实用的。属于通用的、公共的接口,能提升存储资源使用的效率

依据当前J版本号代码的实现。改动点有:

  • 添加了两张表:cgsnapshots。consistencygroups
  • 添加了consistencygroup_id属性,主要在volume表和snapshot表。
  • 添加了consistencygroups的配额;
  • 提供了consistencygroup的创建、删除、查看的API。
  • 提供了consistencygroup_snapshot的创建、删除、查看的API;

作者尚未实现对组备份的功能。在该blueprint的讨论中。作者也提到了兴许要做的工作:

  1. 在heat层面上也应该理解卷的一致性组概念,应实现对应的接口;
  2. 在对一致性组做快照前,利用QEMU guest agent暂停GuestOS对文件系统的訪问。等结束后再恢复。
  3. 支持一致性组的备份,包含在后端存储driver运行下实现对已经挂载卷的备份;

备份功能能够结合当前快照的实现来做,而heat上的尚处于八字没一撇的情况,而暂停GuestOS文件系统。则在进行中,见bp: https://wiki.openstack.org/wiki/Cinder/QuiescedSnapshotWithQemuGuestAgent

个人在J版本号环境下对这个特性做了些尝试。想法是在allinone节点中创建一个组,增加两个卷。然后做统一快照,最后删除组快照。

依照一致性预期结果看到有两个卷快照被创建最后被删除。可是环境没有对接E公司的后端。仅仅有LVM,那就对LVM的代码做简单改动,使之支持主要的组操作。

首先得创建一个一致性组。在LVM的驱动代码中,须要在data['pool']字典中增加一个属性,否则过滤器这关(主要是capibility)是过不去的。 在上报能力的接口中,实现“consistencygroup_support='True'”,能够简单返回空处理:

    def create_consistencygroup(self, context, group):
"""Creates a consistencygroup."""
#raise NotImplementedError()
return None
def delete_consistencygroup(self, context, group):
"""Deletes a consistency group."""
#raise NotImplementedError()
return None,[]

这样,一个组就建成了。show的结果(cinder的client尚未实现,仅仅能用CURL測试):

有了组后,開始创建卷,指定consistencygroup_id创建同组的两个卷。

然后准备对组做快照。再次改动LVM的代码。加入create_cgsnapshot方法。功能是在创建组快照时,对组内全部卷做快照(代码实验用,仅做參考):

    def create_cgsnapshot(self, context, cgsnapshot_ref):
snapshots = self.db.snapshot_get_all_for_cgsnapshot(context,
cgsnapshot_ref['id'])
model_update = {"status":"available"}
for sn in snapshots:
try:
self.create_snapshot(sn)
except Exception as e:
LOG.error("create snapshot %s fail."%sn)
sn['status'] = 'error'
model_update["status"] = "error" return model_update, snapshots

运行快照后,能够看到,生成了属于这个组的两个快照。并生成了一个consistencygroup_snapshot数据。show的结果:

两个快照:



    这时假设再创建一个该组的卷,会报400的错,由于当前组已经有快照无法再改动该组。

“Consistency group b37f1d21-390e-4128-8fd6-2ca4789d9fc2 still has dependent cgsnapshots.”

然后再对LVM代码加入个删除接口(代码实验用,仅做參考):

    def delete_cgsnapshot(self, context, cgsnapshot_ref):
snapshots = self.db.snapshot_get_all_for_cgsnapshot(context,
cgsnapshot_ref['id'])
model_update = {'status':'available'}
for sn in snapshots:
try:
self.delete_snapshot(sn)
except Exception as e:
LOG.error("delete snapshot %s fail"%sn)
model_update['status'] = 'error'
sn['status'] = 'error'
return model_update, snapshots

运行后。consistencygroup_snapshot对象消失。伴随着两个快照也被成功删除。

快照自己主动消失:     

至此。实现预期结果。

当然这是最简单的场景,且LVM仅仅能实现单节点存储池的场景。多节点根本搞不定。并且非常多场景没有考虑,比方反复创建快照,一个组相应多个volume_type等。待兴许再关注。

整个实验过程不算复杂,但第一次比预期要困难多了,还是有些细节须要去摸索的:

  1. 创建组的接口必须传入至少一个volume_type,也就以为着一致性组和卷类型的强相关;(这里在ethpad上的讨论有些出入,从接口看能够支持多个volume_type和组的相应关系)
  2. 后端存储在上报自己的硬件能力时,假设要支持创建一致性组,必须指定一个參数,“consistencygroup_support='True'”。且True必须为字符串;
  3. 后端存储的驱动代码必须实现相应的方法,创建相关也就是“create_consistencygroup”和"delete_consistencygroup"。快照相关就是“create_cgsnapshot”和“delete_cgsnapshot”;

所以,假设兴许有存储厂商想实现自己的一致性组。在开发过程中注意上述问题。

參考:

https://etherpad.openstack.org/p/juno-cinder-cinder-consistency-groups

https://blueprints.launchpad.net/cinder/+spec/consistency-groups

######

最后, 一些过程中使用的API列举例如以下。供參考:

Type  URL  body  RSP
 ADD consistencygroup  v2/$tenant_id/consistencygroups  { "consistencygroup": {

   "name":"my_cg",

   "description": "***",

   "volume_types": "Type1" }}
 N/A
 GET consistencygroups  v2/$tenant_id/consistencygroups/detail?

all_tenants=1

 N/A

{ "consistencygroups": [{

  "status": "available",

  "description": "***",

  "availability_zone": "nova",

  "created_at": "---",

  "id": "*",

  "name": "my_cg"}]}

 DEL consistencygroup  v2/$tenant_id/consistencygroups/$cg_id

{"consistencygroup":

{"force":"True"}}

 N/A
 ADD cg_snapshot  v2/$tenant_id/cgsnapshots  {"cgsnapshot":{

        "consistencygroup_id":"***",

"name": "my_cg_snapshot",

"description": "***"}}
 N/A
 GET cg_snapshot  v1/$tenant_id/cgsnapshots/detail?

all_tenants=1

 N/A  {"cgsnapshots": [{

  "status":"available",

  "description": "***",

  "created_at": "***",

  "consistencygroup_id": "***",

  "id": "***",

  "name":"***"}]}
 DEL cg_snapshot  v2/$tenant_id/cgsnapshots/$cgsnapshot_id  N/A  N/A

对consistencygroup的一些研究和实践的更多相关文章

  1. 【初码干货】使用阿里云对Web开发中的资源文件进行CDN加速的深入研究和实践

    提示:阅读本文需提前了解的相关知识 1.阿里云(https://www.aliyun.com) 2.阿里云CDN(https://www.aliyun.com/product/cdn) 3.阿里云OS ...

  2. CSS技能汇总,研究及实践

    最近一直在研究CSS,因为发现实践中大部分时间都在写CSS,且自己感觉写的很烂,虽然以前看的很多,但却很少有去实践过,更别提研究了,现在发现根本就不是你懂你就会,很多都是你用着用着才真的会了的,于是现 ...

  3. Redis集群研究和实践(基于redis 3.0.5)

    前言 redis 是我们目前大规模使用的缓存中间件,由于它强大高效而又便捷的功能,得到了广泛的使用.现在的2.x的稳定版本是2.8.19,也是我们项目中普遍用到的版本. redis在年初发布了3.0. ...

  4. Web动效研究与实践

    随着CSS3和HTML5的发展,越来越多狂拽炫酷叼炸天的动效在网页设计上遍地开花,根据最新的浏览器市场份额报告,IE6的份额已经降到了5.21%,这简直是一个喜大普奔的消息,做动效可以完全不care低 ...

  5. dis集群研究和实践(基于redis 3.0.5) 《转载》

    https://www.cnblogs.com/wxd0108/p/5798498.html 前言 redis 是我们目前大规模使用的缓存中间件,由于它强大高效而又便捷的功能,得到了广泛的使用.现在的 ...

  6. Reference SoftReference WeakReference PhantomReference Cleaner 的研究与实践

    最近在看netty的时候看到直接内存的相关概念,为了更详细的了解一下具体原理,搜到了一篇不错的文章 http://lovestblog.cn/blog/2015/05/12/direct-buffer ...

  7. 相位展开(phase unwrapping)算法研究与实践

    1. 什么是相位展开? 相位展开(Phase Unwrapping)是一个经典的信号处理问题,它指的是从值区间中恢复原始相位值(原因在于:计算相位时,运用反正切函数,则相位图中提取的相位都是包裹在一个 ...

  8. 分布式服务弹性框架“Hystrix”实践与源码研究(一)

    文章初衷 为了应对将来在线(特别是无线端)业务量的成倍增长,后端服务的分布式化程度需要不断提高,对于服务的延迟和容错管理将面临更大挑战,公司框架和开源团队选择内部推广Netflix的Hystrix,一 ...

  9. ASP.NET跨平台最佳实践

    前言 八年的坚持敌不过领导的固执,最终还是不得不阔别已经成为我第二语言的C#,转战Java阵营.有过短暂的失落和迷茫,但技术转型真的没有想象中那么难.回头审视,其实单从语言本身来看,C#确实比Java ...

随机推荐

  1. iPhone App开发实战手册学习笔记(9)之设计IOS App的目标

    1 前言 如果我们要做一个属于自己的App需要达到那些目标呢,今天就来介绍一下. 2 详述 2.1 关注用户及其需求 你的主要目标永远都是在设计方案之前先想好用户用例.有些开发人员喜欢编写用户故事来确 ...

  2. CRectTracker类的使用--橡皮筋窗口

    CRectTracker(俗称“橡皮筋”类)是一个非常有意思的类.你在Windows中经常看到这样的情况:它可以用做显示边界,你也可以扽它的八个角用来放大缩小,或做框选使用.如何通过编程来实现这种功能 ...

  3. VC/MFC 在ListCtl 控件中随鼠标移动提示单元格信息

    BEGIN_MESSAGE_MAP(CTipListCtrl, CListCtrl) //{{AFX_MSG_MAP(CTipListCtrl) ON_WM_MOUSEMOVE() ON_WM_DES ...

  4. delphi 网页提交按钮执行点击事件

    遍历即可实现,下列代码仅供参考: var i: integer; T: OleVariant; begin T := WebBrowser1.Document; do begin if T.all.i ...

  5. 简单概率dp(期望)-zoj-3640-Help Me Escape

    题目链接: http://acm.zju.edu.cn/onlinejudge/showProblem.do?problemId=4808 题目大意: 有n条路,选每条路的概率相等,初始能力值为f,每 ...

  6. HDU4869:Turn the pokers(费马小定理+高速幂)

    Problem Description During summer vacation,Alice stay at home for a long time, with nothing to do. S ...

  7. Swift - 使用arc4random()、arc4random_uniform()取得随机数

    arc4random()这个全局函数会生成9位数的随机整数   1,下面是使用arc4random函数求一个1~100的随机数(包括1和100) 1 var temp:Int = Int(arc4ra ...

  8. 一个网友写的栈,问为啥不能迭代。具有__iter__ 和next方法的对象叫迭代器-七七巴巴黄页网

    一个网友写的栈,问为啥不能迭代.具有__iter__ 和next方法的对象叫迭代器-七七巴巴黄页网 一个网友写的栈,问为啥不能迭代.具有__iter__ 和next方法的对象叫迭代器 python视频 ...

  9. Codeforces 475D CGCDSSQ 求序列中连续数字的GCD=K的对数

    题目链接:点击打开链接 #include <cstdio> #include <cstring> #include <algorithm> #include < ...

  10. LAN路由

    一.实验的目的:   实现不同子网之前的信息交流      二.如果 1.虚拟子网 VMnet8:192.168.233.0/24 VMnet1:172.16.1.0/24 2.虚拟机vm1 ip:1 ...