学习了WSGI/Paste deploy后,还需要对一些在openstack中一些package有一些了解,才能更好的理解openstack的代码

What is stevedore

我们在写代码的时候通常把一个一个的功能块独立编写,甚至发布一定的规则和接口由第三方编写,然后在运行时根据实际情况来选择加载哪些功能模块。这样的好处是松耦合,灵活,而且便于协作。

stevedore就是一个很好的帮助动态加载代码的工具,openstack中很多plugin就是通过stevedore加载的。

下面通过一些应用场景看一下如何使用stevedore。

Driver 场景

假设我们有一个开源系统,我们不希望限定用户对数据库的选择。用户可以选择mysql/oracle/mongo等任意数据库。这就意味着我们需要对很多种数据库提供接口。这个工作量很大,并且要求开发人员对每一种数据库非常熟悉。最好的做法就是把数据库的接口设计成driver,并发布出该driver所需要实现的接口。这样任何第三方的组织或个人都可以参与开发。

比如,我们定义下面的接口。任何开发者,只要编写一个实现了下列接口的class,就可以实现一个driver

@six.add_metaclass(abc.ABCMeta)
class Base(object):
"""
The Base class for db driver
""" @abc.abstractmethod
def create_user(self, user_name):
""" :param user_name:
The name of user
:return:
A user object
"""

基于上述接口,我们尝试开发一个mysql的driver如下:

# mysql_driver.py
import base class MysqlDriver(base.Base):
def create_user(self, user_name):
return "create user %s in mysql" % user_name

该package的目录结构如下

[root@controller POTUS]# tree MysqlDriver/
MysqlDriver/
├── mysql_driver
│   ├── __init__.py
│   └── mysql_driver.py
└── setup.py

要注意在mysql_driver/init.py中要有 import mysql_driver这句话

setup.py的内容如下:

from setuptools import setup, find_packages

setup(
name='mysql_driver',
version='1.0', packages=find_packages(), entry_points={
'my_system.db_driver': [
'mysql = mysql_driver.mysql_driver:MysqlDriver',
],
},
)

运行python setup.py install 后,会在系统目录中安装mysql_driver这个egg包,egg中有entry_point文件中记录了如下内容:

[my_system.db_driver]

mysql = mysql_driver.mysql_driver:MysqlDriver

my_system.db_driver是操作系统全局唯一的namespace。mysql是entry point的名字。通过这两个组合,可以定位到需要加载的代码,也就是我们的driver。

我们同样的再开发一个oracle_driver,如下:

[root@controller POTUS]# tree OracleDriver/
OracleDriver/
├── oracle_driver
│   ├── __init__.py
│   └── oracle_driver.py
└── setup.py

oracle_driver.py内容如下

# mysql_driver.py
import base class OracleDriver(base.Base):
def create_user(self, user_name):
return "create user %s in oracle" % user_name

setup.py内容如下:

from setuptools import setup, find_packages

setup(
name='oracle_driver',
version='1.0',
packages=find_packages(),
entry_points={
'my_system.db_driver': [
'oracle = oracle_driver.oracle_driver:OracleDriver',
],
},
)

不要忘了在__init__.py中加上 import oracle_driver。

ok, 在python setup.py install 后,我们的系统中有了mysql_driver 和 oracle_driver 下面就是应用了。

>>> from stevedore import driver
>>> mgr = driver.DriverManager(namespace = "my_system.db_driver", name = "mysql", invoke_on_load = True, invoke_args = ())
>>> mgr.driver.create_user('Tom')
'create user Tom in mysql'
>>> mgr = driver.DriverManager(namespace = "my_system.db_driver", name = "oracle", invoke_on_load = True, invoke_args = ())
>>> mgr.driver.create_user('Tom')
'create user Tom in oracle'

可以看到,当name=mysql时,调用的是mysql_driver, 当name=oracle时,调用的是oracle_driver

Driver的方式,让不同的driver开发过程相互独立,调用也更加灵活

Hook场景

Hook 顾名思义,钩子。就像window开发中的hook一样,每一个hook都是一个功能组件,会被一定的事件驱动。一个事件可以驱动一个hook,也可以驱动多个hook。同一个hook可以被多个不同的事件驱动。

假设我们开发了一个IDE工具,在鼠标点击关闭按钮的时候,会产生CLOSE_WINDOW EVENT, 这时候需要save_content组件保存内容。在鼠标点击commit按钮的时候,会产生COMMIT EVENT,这时候需要save_content发挥作用,也需要upload_content组件把内容上传到服务器。

这种场景下,我们可以开发save_content, upload_content两个组件,并且把save_content注册在CLOSE_WINDOW 和 COMMIT 两个event下,把upload_content注册在COMMIT event下。开发过程如下:

首先是save_content,

[root@controller POTUS]# tree IDE_HOOKA/
IDE_HOOKA/
├── save_content
│   ├── __init__.py
│   └── save_content.py
└── setup.py

save_content 内容如下:

class SaveContent(object):
def __call__(self, *args, **kwargs):
return "content are saved"

setup.py 内容如下:

from setuptools import setup, find_packages

setup(
name='save_content',
version='1.0', packages=find_packages(), entry_points={
'ide.hooks': [
'CLOSE_WINDOW = save_content.save_content:SaveContent',
'COMMIT = save_content.save_content:SaveContent'
],
},
)

init.py中有import save_content这句不要落下。

在python setup.py install 后,save_content.save_content:SaveContent 会被注册到CLOSE_WINDOW 和 COMMIT这两个event下。

我们再开发一个upload_content 组件如下:

[root@controller POTUS]# tree IDE_HOOKB/
IDE_HOOKB/
├── setup.py
└── upload_content
├── __init__.py
└── upload_content.py

主要看一下setup.py

from setuptools import setup, find_packages

setup(
name='upload_content',
version='1.0', packages=find_packages(), entry_points={
'ide.hooks': [
'COMMIT = upload_content.upload_content:UploadContent'
],
},
)

这次,我们只注册了upload_content到COMMIT下。

在安装后,我们有了save_content 注册在CLOSE_WINDOW 和 COMMIT下, upload_content注册在COMMIT下。这样,当COMMIT事件发生,系统会保存内容并upload内容到服务器,当CLOSE_WINDOW事件发生,会保存内容。

运行如下:

# import hookmanager
# 定义运行hook的函数
>>> from stevedore import HookManager
>>> def run(hook):
... return (hook.name, hook.obj())
... # 根据Close Window调用hook
>>> mgr = HookManager(namespace = "ide.hooks", name = "CLOSE_WINDOW", invoke_on_load = True, invoke_args = ())
>>> mgr.map(run)
[('CLOSE_WINDOW', 'content are saved')] # 根据commit调用hook
>>> mgr = HookManager(namespace = "ide.hooks", name = "COMMIT", invoke_on_load = True, invoke_args = ())
>>> mgr.map(run)
[('COMMIT', 'content are saved'), ('COMMIT', 'content are uploaded')]

extension 场景

对比driver hook,他们都是通过setuptools的entry point来调用代码。driver是根据一个名字加载一个driver, hook是根据一个名字加载多个组件,而extension则是不根据名字,把namespace下所有的组件加载。

[root@controller POTUS]# tree EXT/
EXT/
├── ext
│   ├── ext1.py
│   ├── ext2.py
│   ├── ext3.py
│   └── __init__.py
└── setup.py

ext1的内容如下

class EXT1(object):
def __call__(self, *args, **kwargs):
return "ext1 is called"

setup.py内容如下:

from setuptools import setup, find_packages

setup(
name='ext',
version='1.0', packages=find_packages(), entry_points={
'my_namespace': [
'ext1 = ext.ext1:EXT1',
'ext2 = ext.ext2:EXT2',
'ext3 = ext.ext3:EXT3'
],
},
)

按照完成后,ext1/ext2/ext3都被注册到my_namespace下。 调用方式如下:

>>> from stevedore import ExtensionManager
>>> mgr=ExtensionManager(namespace='my_namespace', invoke_on_load=True, invoke_args=())
>>> def run(hook):
... return (hook.name, hook.obj)
...
>>> mgr.map(run)
[('ext3', <ext.ext3.EXT3 object at 0xd62a50>), ('ext2', <ext.ext2.EXT2 object at 0x102b6d0>), ('ext1', <ext.ext1.EXT1 object at 0x1034c10>)]

调用方式可以看到,通过namespace可以把其下所有组件加载

以上是stevedore的主要用法,下一篇讲展示routes的用法

how to read openstack code : stevedore的更多相关文章

  1. how to read openstack code: loading process

    之前我们了解了neutron的结构,plugin 和 extension等信息.这一章我们看一下neutron如何加载这些plugin和extension.也就是neutron的启动过程.本文涉及的代 ...

  2. how to read openstack code: Core plugin and resource extension

    本章我们将写一个自己的core plugin 和一个resource extension来加深理解.(阅读本文的前提是你已经理解了restful以及stevedore等内容) 什么是 core plu ...

  3. how to read openstack code: Neutron architecture

    今天这一章节非常重要.我们知道neutron是一个非常复杂的系统,由很多组件构成.研究这样一个复杂的系统,正确的顺序应该是现在宏观上对其整体结构有所了解,然后再由针对性的对其组件进行深入了解.本章要做 ...

  4. how to read openstack code : routes

    When coding a web system, you have to think about an important problem, how to map urls to logic. Op ...

  5. how to read openstack code : wsgi

    要读懂本篇,你至少得写过一个python的web程序,并且把它部署到web服务器上过. 什么是wsgi 假设你写了一个python的web程序,并部署到了nginx上,那么一个http request ...

  6. how to read openstack code

    本文的目的不是介绍openstack.我们这里假设你已经知道了openstack是什么,能够做什么.所以目的是介绍如何阅读openstack的代码.通过读代码来进一步学习openstack. 转载要求 ...

  7. how to read openstack code: request extension

    We have learned resource extension and action extension. This post we will write a request extension ...

  8. how to read openstack code: action extension

    之前我们看过了core plugin, service plugin 还有resource extension. resource extension的作用是定义新的资源.而我们说过还有两种exten ...

  9. how to read openstack code: service plugin

    We have learned core plugin, service plugin and extension in last post. Now let`s review: Core Plugi ...

随机推荐

  1. [转]1小时内打造你自己的PHP MVC框架

    简介 MVC框架在现在的开发中相当流行,不论你使用的是JAVA,C#,PHP或者IOS,你肯定都会选择一款框架.虽然不能保证100%的开发语言都会使用框架,但是在PHP社区当中拥有*多数量的MVC框架 ...

  2. @import与link方式的区别

    1. 老祖宗的差别.link属于XHTML标签,而@import完全是CSS提供的一种方式. link标签除了可以加载CSS外,还可以做很多其它的事情,比如定义RSS,定义rel连接属性等,@impo ...

  3. Jenkins安装和初始化配置

    Jenkins是基于Java开发的一种持续集成工具,用于监控持续重复的工作,功能包括: 1.持续的软件版本发布/测试项目. 2.监控外部调用执行的工作. 所以安装Jenkins包含安装相应的jdk环境 ...

  4. (转)淘淘商城系列——SSM框架整合之表现层整合

    http://blog.csdn.net/yerenyuan_pku/article/details/72721120 上文我们一起学习了Service层的整合,本文将教大家如何整合表现层. 我们在t ...

  5. MySQL for Mac 终端操作说明

    mysql for mac 终端操作说明MySQL服务开启Mac版mysql可以从设置里启动服务: 如果想要在终端(Terminal)中操作mysql,需要先添加mysql路径,在此以zsh为例: # ...

  6. laravel jwt 做API 退出登录(注销) 该怎么弄? 如何让token失效

    laravel jwt 做API 退出登录(注销) 该怎么弄? 如何让token失效 php框架 laravel 2.1k 次浏览 问题对人有帮助,内容完整,我也想知道答案0问题没有实际价值,缺少关键 ...

  7. Vue的模板语法

    基本语法 <body> <script src="vue.js"></script> <div id="app"> ...

  8. WPS 常用操作

    1.WPS屏保太美了,如何保存 网上搜到如下资料,发现可以在电脑中找到若干个被缓存的图片,kwallpaper可能为kscreensaver

  9. JAVA基础——数据流

    DataInputStream 类和DataOutputStream 类 在前面的学习中,我们知道数据流处理的数据都是指字节或字节数组,但实际上很多时候不是这样的,它需要数据流能直接读.写各种各样的j ...

  10. [Python3网络爬虫开发实战] 1.2.5-PhantomJS的安装

    PhantomJS是一个无界面的.可脚本编程的WebKit浏览器引擎,它原生支持多种Web标准:DOM操作.CSS选择器.JSON.Canvas以及SVG. Selenium支持PhantomJS,这 ...