paste deploy初探

这段时间刚着手开始研究Openstack Swift源码，为后续开发做准备。

Swift依据python WSGI规范。WSGI（Web Server Gateway Interface）是Python应用程序或框架与Web服务器之间的一种接口，定义了一套借口来实现服务器与应用端的通信规范。按照一套规范，应用端想要通信，很简单，只需要实现一个接受两个参数的，含有__call__方法并返回一个可遍历的含有零个或者多个string结果的python对象。 
而paste.deploy（Paste Deployment）是用于发现和配置WSGI server和application的系统。对WSGI应用消费者而言，它提供了一个很简单的函数loadapp()从配置文件或python EGG中加载应用。两种不同的加载方式分别对应在路径前添加“config：”和“egg：”（即URI）。 
在swift源码中，关于loadapp的调用在swift.common目录下wsgi.py文件中。

 ……
 from paste.deploy import loadwsgi
 ……
 def wrap_conf_type(f):                 #line no.93 in swift-havana#
     def wrapper(conf_path, *args, **kwargs):
         if os.path.isdir(conf_path):
             conf_type = 'config_dir'
         else:
             conf_type = 'config'
         conf_uri = '%s:%s' % (conf_type, conf_path)
         return f(conf_uri, *args, **kwargs)
     return wrapper
 
 appconfig = wrap_conf_type(loadwsgi.appconfig)
 loadapp = wrap_conf_type(loadwsgi.loadapp)
 ……
 
 def run_server(conf, logger, sock):   #line no.199 in swfit-havana#
     ……
     app = loadapp(conf['__file__'], global_conf={'log_name': log_name})
     max_clients = int(conf.get('max_clients', ''))
     pool = RestrictedGreenPool(size=max_clients)
     try:
         wsgi.server(sock, app, NullLogger(), custom_pool=pool)
     except socket.error as err:
         if err[0] != errno.EINVAL:
             raise
     pool.waitall()

如此相当于对loadwsgi模块中appconfig函数和loadapp函数进行了封装，自动在conf_path参数前添加”config:”。后在run_server()函数中调用了loadapp（）函数，正式载入配置文件。

载入配置文件后，根据配置文件配置，找到相应application和middleware的入口点，加载这些应用及中间件。我们先对照着看看proxy-server的配置文件，然后在依据paste.deploy官方文档和相关资料进行详细解释。

  [DEFAULT]
 # Enter these next two values if using SSL certificationscert_file = /etc/swift/cert.crt
 key_file = /etc/swift/cert.key
 bind_port = 8080
 workers = 8
 user = swift
 
 [pipeline:main]
 # keep swauth in the line below if you plan to use swauth for authenticationpipeline = healthcheck cache swauth proxy-server
 
 [app:proxy-server]
 use = egg:swift#proxy
 allow_account_management = true
 
 [filter:swauth]
 # the line below points to swauth as a separate project from swiftuse = egg:swauth#swauth
 # Highly recommended to change this.super_admin_key = swauthkey
 
 [filter:healthcheck]
 use = egg:swift#healthcheck
 
 [filter:cache]
 use = egg:swift#memcache
 memcache_servers = <PROXY_LOCAL_NET_IP>:11211

WSGI只关心那些带前缀的部分，即类似“pipeline:main”之类的。section为[type:name]格式，前缀表示section类型，后接section名称。常用的前缀分别有“composite”， “app”， “pipeline”， “filter-app”，“filter”几种。下面分别对其进行简单介绍。

1.composite，组合应用。由若干WSGI应用组成，composite为这些应用提供更高一层的分配工作。下面是一个composite section的例子。它能根据接受的http请求url中对应字段将不同HTTP请求发送给不同的应用进行处理。其中egg:Paste#urlmap指定了url解析所使用的函数——为系统自带的paste.urlmap库。

 [composite:main]
 use = egg:Paste#urlmap
 / = home
 /blog = blog
 /wiki = wiki
 /cms = config:cms.ini

2.app，声明具体的WSGI应用。应用的具体实现要在section中配置，有两种方法专门用于指出应用对应的代码：使用URI（用use标识）或 直接指向实现代码（用protocol标识）。例子如下：

 [app:myapp]
 use = config:another_config_file.ini#app_name
 
 # 或任意URI:
 [app:myotherapp]
 use = egg:MyApp
 
 # 或指明某个模块中的可调用:
 [app:mythirdapp]
 use = call:my.project:myapplication
 
 # 甚至是其他的section:
 [app:mylastapp]
 use = myotherapp

下例的protocol paste.app_factory 是一个应用的工厂函数，指明import对象的类型；值 myapp.modulename:app_factory 指明具体加载的模块和方法。

 [app:myapp]
 paste.app_factory = myapp.modulename:app_factory

3.filter，作用于WSGI应用上的函数或方法，以app为唯一的参数，并返回一个“过滤”后的app。 
4.filter-app，同样是处理应用的过滤器，写法不同。如下例，filter-app标明的“blog”表示定义的filter，而其处理的应用在next字段中指明——blogapp。

 [filter-app:blog]
 use = egg:Authentication#auth
 next = blogapp
 roles = admin
 htpasswd = /home/me/users.htpasswd 

5.pipeline，便于对一个应用添加多个filter（过滤器）进行处理。在proxy-server的配置文件中即是如此，pipeline = healthcheck cache swauth proxy-server这一语句表示“proxy-server”应用需要healthcheck、cache和swauth三个过滤器的处理。将app名写在最后是pipeline section约定俗成的。

上面提到了WSGI中app和middleware。实际上wsgi 是一个 web 组件的接口规范.，wsgi将 web 组件分为三类： web服务器,web中间件（filter）,web应用程序（app）。wsgi基本处理模式为 ： WSGI Server -> (WSGI Middleware)* -> WSGI Application 。最开始的那一段openstack swift源码中 wsgi.server(sock, app, NullLogger(), custom_pool=pool)便是运行了一个wsgi server，它会监听指定socket接收http请求，然后根据config文件配置调用application处理并返回。

通过对这些知识的了解，成功利用wsgi规范编写了一个server，配置文件直接指定实现代码的方式（factory函数），返回简单测试信息。接下来，深入学习paste.deploy库的细节，比如app定义的具体语法规则，几种factory函数的实现细节等等。还要学习eventlet函数库，弄懂协程，对照学习webob函数库和swift中swob，学习setuptools和相应的pbr。任重道远，继续努力！

关于本文的更多参考资料： 
【1】paste.deploy python文档 
【2】网络博客–Openstack paste deploy介绍 
【3】网络博客–paste deploy