声明:

本博客欢迎转载,但请保留原作者信息!

作者:李人可

团队:华为杭州OpenStack团队

consistency group,直译是一致性组,是Juno版本号cinder新引进的一个概念。顾名思义,里面包括了两个意思。consistency(一致性)和group(组),怎样体现的呢?处于数据保护或者是容灾的考虑,把一批存在公共操作的卷,在逻辑上划成一个组。用户能够很方便的通过操作该组,不须要一个一个得去操作卷。所以针对的操作应该是做快照和做备份。

当前仅仅有E公司的后端支持该特性,该blueprint预计也是E公司提出的。但个人觉得在实际应用中还是十分实用的。属于通用的、公共的接口,能提升存储资源使用的效率

依据当前J版本号代码的实现。改动点有:

  • 添加了两张表:cgsnapshots。consistencygroups
  • 添加了consistencygroup_id属性,主要在volume表和snapshot表。
  • 添加了consistencygroups的配额;
  • 提供了consistencygroup的创建、删除、查看的API。
  • 提供了consistencygroup_snapshot的创建、删除、查看的API;

作者尚未实现对组备份的功能。在该blueprint的讨论中。作者也提到了兴许要做的工作:

  1. 在heat层面上也应该理解卷的一致性组概念,应实现对应的接口;
  2. 在对一致性组做快照前,利用QEMU guest agent暂停GuestOS对文件系统的訪问。等结束后再恢复。
  3. 支持一致性组的备份,包含在后端存储driver运行下实现对已经挂载卷的备份;

备份功能能够结合当前快照的实现来做,而heat上的尚处于八字没一撇的情况,而暂停GuestOS文件系统。则在进行中,见bp: https://wiki.openstack.org/wiki/Cinder/QuiescedSnapshotWithQemuGuestAgent

个人在J版本号环境下对这个特性做了些尝试。想法是在allinone节点中创建一个组,增加两个卷。然后做统一快照,最后删除组快照。

依照一致性预期结果看到有两个卷快照被创建最后被删除。可是环境没有对接E公司的后端。仅仅有LVM,那就对LVM的代码做简单改动,使之支持主要的组操作。

首先得创建一个一致性组。在LVM的驱动代码中,须要在data['pool']字典中增加一个属性,否则过滤器这关(主要是capibility)是过不去的。 在上报能力的接口中,实现“consistencygroup_support='True'”,能够简单返回空处理:

    def create_consistencygroup(self, context, group):
"""Creates a consistencygroup."""
#raise NotImplementedError()
return None
def delete_consistencygroup(self, context, group):
"""Deletes a consistency group."""
#raise NotImplementedError()
return None,[]

这样,一个组就建成了。show的结果(cinder的client尚未实现,仅仅能用CURL測试):

有了组后,開始创建卷,指定consistencygroup_id创建同组的两个卷。

然后准备对组做快照。再次改动LVM的代码。加入create_cgsnapshot方法。功能是在创建组快照时,对组内全部卷做快照(代码实验用,仅做參考):

    def create_cgsnapshot(self, context, cgsnapshot_ref):
snapshots = self.db.snapshot_get_all_for_cgsnapshot(context,
cgsnapshot_ref['id'])
model_update = {"status":"available"}
for sn in snapshots:
try:
self.create_snapshot(sn)
except Exception as e:
LOG.error("create snapshot %s fail."%sn)
sn['status'] = 'error'
model_update["status"] = "error" return model_update, snapshots

运行快照后,能够看到,生成了属于这个组的两个快照。并生成了一个consistencygroup_snapshot数据。show的结果:

两个快照:



    这时假设再创建一个该组的卷,会报400的错,由于当前组已经有快照无法再改动该组。

“Consistency group b37f1d21-390e-4128-8fd6-2ca4789d9fc2 still has dependent cgsnapshots.”

然后再对LVM代码加入个删除接口(代码实验用,仅做參考):

    def delete_cgsnapshot(self, context, cgsnapshot_ref):
snapshots = self.db.snapshot_get_all_for_cgsnapshot(context,
cgsnapshot_ref['id'])
model_update = {'status':'available'}
for sn in snapshots:
try:
self.delete_snapshot(sn)
except Exception as e:
LOG.error("delete snapshot %s fail"%sn)
model_update['status'] = 'error'
sn['status'] = 'error'
return model_update, snapshots

运行后。consistencygroup_snapshot对象消失。伴随着两个快照也被成功删除。

快照自己主动消失:     

至此。实现预期结果。

当然这是最简单的场景,且LVM仅仅能实现单节点存储池的场景。多节点根本搞不定。并且非常多场景没有考虑,比方反复创建快照,一个组相应多个volume_type等。待兴许再关注。

整个实验过程不算复杂,但第一次比预期要困难多了,还是有些细节须要去摸索的:

  1. 创建组的接口必须传入至少一个volume_type,也就以为着一致性组和卷类型的强相关;(这里在ethpad上的讨论有些出入,从接口看能够支持多个volume_type和组的相应关系)
  2. 后端存储在上报自己的硬件能力时,假设要支持创建一致性组,必须指定一个參数,“consistencygroup_support='True'”。且True必须为字符串;
  3. 后端存储的驱动代码必须实现相应的方法,创建相关也就是“create_consistencygroup”和"delete_consistencygroup"。快照相关就是“create_cgsnapshot”和“delete_cgsnapshot”;

所以,假设兴许有存储厂商想实现自己的一致性组。在开发过程中注意上述问题。

參考:

https://etherpad.openstack.org/p/juno-cinder-cinder-consistency-groups

https://blueprints.launchpad.net/cinder/+spec/consistency-groups

######

最后, 一些过程中使用的API列举例如以下。供參考:

Type  URL  body  RSP
 ADD consistencygroup  v2/$tenant_id/consistencygroups  { "consistencygroup": {

   "name":"my_cg",

   "description": "***",

   "volume_types": "Type1" }}
 N/A
 GET consistencygroups  v2/$tenant_id/consistencygroups/detail?

all_tenants=1

 N/A

{ "consistencygroups": [{

  "status": "available",

  "description": "***",

  "availability_zone": "nova",

  "created_at": "---",

  "id": "*",

  "name": "my_cg"}]}

 DEL consistencygroup  v2/$tenant_id/consistencygroups/$cg_id

{"consistencygroup":

{"force":"True"}}

 N/A
 ADD cg_snapshot  v2/$tenant_id/cgsnapshots  {"cgsnapshot":{

        "consistencygroup_id":"***",

"name": "my_cg_snapshot",

"description": "***"}}
 N/A
 GET cg_snapshot  v1/$tenant_id/cgsnapshots/detail?

all_tenants=1

 N/A  {"cgsnapshots": [{

  "status":"available",

  "description": "***",

  "created_at": "***",

  "consistencygroup_id": "***",

  "id": "***",

  "name":"***"}]}
 DEL cg_snapshot  v2/$tenant_id/cgsnapshots/$cgsnapshot_id  N/A  N/A

对consistencygroup的一些研究和实践的更多相关文章

  1. 【初码干货】使用阿里云对Web开发中的资源文件进行CDN加速的深入研究和实践

    提示:阅读本文需提前了解的相关知识 1.阿里云(https://www.aliyun.com) 2.阿里云CDN(https://www.aliyun.com/product/cdn) 3.阿里云OS ...

  2. CSS技能汇总,研究及实践

    最近一直在研究CSS,因为发现实践中大部分时间都在写CSS,且自己感觉写的很烂,虽然以前看的很多,但却很少有去实践过,更别提研究了,现在发现根本就不是你懂你就会,很多都是你用着用着才真的会了的,于是现 ...

  3. Redis集群研究和实践(基于redis 3.0.5)

    前言 redis 是我们目前大规模使用的缓存中间件,由于它强大高效而又便捷的功能,得到了广泛的使用.现在的2.x的稳定版本是2.8.19,也是我们项目中普遍用到的版本. redis在年初发布了3.0. ...

  4. Web动效研究与实践

    随着CSS3和HTML5的发展,越来越多狂拽炫酷叼炸天的动效在网页设计上遍地开花,根据最新的浏览器市场份额报告,IE6的份额已经降到了5.21%,这简直是一个喜大普奔的消息,做动效可以完全不care低 ...

  5. dis集群研究和实践(基于redis 3.0.5) 《转载》

    https://www.cnblogs.com/wxd0108/p/5798498.html 前言 redis 是我们目前大规模使用的缓存中间件,由于它强大高效而又便捷的功能,得到了广泛的使用.现在的 ...

  6. Reference SoftReference WeakReference PhantomReference Cleaner 的研究与实践

    最近在看netty的时候看到直接内存的相关概念,为了更详细的了解一下具体原理,搜到了一篇不错的文章 http://lovestblog.cn/blog/2015/05/12/direct-buffer ...

  7. 相位展开(phase unwrapping)算法研究与实践

    1. 什么是相位展开? 相位展开(Phase Unwrapping)是一个经典的信号处理问题,它指的是从值区间中恢复原始相位值(原因在于:计算相位时,运用反正切函数,则相位图中提取的相位都是包裹在一个 ...

  8. 分布式服务弹性框架“Hystrix”实践与源码研究(一)

    文章初衷 为了应对将来在线(特别是无线端)业务量的成倍增长,后端服务的分布式化程度需要不断提高,对于服务的延迟和容错管理将面临更大挑战,公司框架和开源团队选择内部推广Netflix的Hystrix,一 ...

  9. ASP.NET跨平台最佳实践

    前言 八年的坚持敌不过领导的固执,最终还是不得不阔别已经成为我第二语言的C#,转战Java阵营.有过短暂的失落和迷茫,但技术转型真的没有想象中那么难.回头审视,其实单从语言本身来看,C#确实比Java ...

随机推荐

  1. 几十篇GDI以及MFC自绘的文章

    http://www.cnblogs.com/lidabo/category/434801.html

  2. 修改XPMenu让ToolButton在Down=True时正确显示

    XPMenu是一个不错的程序界面效果控件,但它也存在不少不足之处.我最近又对它作了一点修改. 原因是我在程序里有一个ToolButton,其Style=tbsButton,当Down=True时,XP ...

  3. Swift - 数字格式化转成字符串(保留两位小数)

    1,下面是一个浮点类型的数字转成String字符串的例子 1 2 var f = 123.32342342 var s:String = "\(f)" //123.32342342 ...

  4. Android使用ksoap2-android调用WebService学习

    之前主要做客户端UI交互,很少处理数据和接触服务端,但现在的移动设备根本不可能离得开网络连接,数据的交换.最近学习的是在android端如何去调用远程WebService,都说WebService是一 ...

  5. Xtrabackup使用指南 | 简单.生活

    Xtrabackup使用指南 | 简单.生活 Xtrabackup是一个对InnoDB做数据备份的工具,支持在线热备份(备份时不影响数据读写),是商业备份工具InnoDB Hotbackup的一个很好 ...

  6. 第十七篇:实例分析(1)--初探WDDM驱动学习笔记(八)

    第四篇(VidPN)中提到过MIRROR驱动. 在进入本篇的实际内容前, 带着好奇心, 想请教CSDN中的显卡驱动方面的大虾, 怎样才干把这个驱动玩起来, 这个驱动的作用是什么,等等, 敬请不吝赐教. ...

  7. .NET Core 1.0.0 RC2

    .NET Core 1.0.0 RC2 在.NET Core 1.0.0 RC2即将正式发布之际,我也应应景,针对RC2 Preview版本编写一个史上最简单的MVC应用.由于VS 2015目前尚不支 ...

  8. DMP文件的生成和使用

    1.生成dmp的程序 #include  <dbghelp.h> #pragma comment(lib,  "dbghelp.lib") //设置异常处理回调函数Se ...

  9. ANTS Performance Profiler 破解使用

    http://blog.csdn.net/wangjia184/article/details/7746089

  10. POJ 2991 Crane(线段树+计算几何)

    POJ 2991 Crane 题目链接 题意:给定一个垂直的挖掘机臂.有n段,如今每次操作能够旋转一个位置,把[s, s + 1]专程a度,每次旋转后要输出第n个位置的坐标 思路:线段树.把每一段当成 ...