WSGI及gunicorn指北(一)
作为一个Python Web 开发工程师,pyg0每天都喜滋滋的写着基于各种web框架的业务代码。
突然有一天,技术老大过来跟pyg0说,嘿,我们要新上线一个服务,你来帮我部署一下吧。不用太复杂。用gunicorn跑flask, 启8个进程, 用gevent模式跑就可以。这个很好配,给你一个小时吧。
这时候的pyg0心里充满的黑人问号, gunicorn, gevent ???什么鬼?
赶紧请教万能的google,发现网上配置的教程满天飞, pyg0找了一个看着顺眼的,照猫画虎,终于赶在下班前搞定。(说好的一个小时呢?)
但是真的搞定了吗?pyg0其实发现自己更加迷惑了。再配置的过程中,更多的名词出现在他的视野之中, wgsi?uwsgi?master? worker?
为了让自己不再迷糊下去。pyg0决定开始一场学习python web server的旅程
一 WSGI
WSGI(Web Server Gateway Interface),中文是网络服务器网关接口。它不是web server, 也不是web application,而是架在web server 和web application 之间一道协议和规范。
WSGI规范的目的就是解耦Web Server 和Web Application。 一个完整的WSGI协议包括server 和appliction 两部分。server的作用是接受客户端传来的请求,转发给application, 然后把application返回的response发给客户端。 application用来接受server发来的请求,处理请求,然后把response发回给server。这样一来,我们可以有多个实现了server协议的Web Server和多个实现了application的web framework。
重点来了,上文提到的gunicorn, uwsgi就是实现了WSGI server协议的web server。 而我们常用的Django,Flask等等就是实现了WSGI application协议的 web framework。这样一来,我们就可以像搭积木一样随意组合web server 和 web framework了。
其实python自己就带了一个实现了WSGI协议的server 和 application, 各个web framework也基本上都有自己实现的server, 但这些server基本上只能用来调试,不能用于生产环境。我们先来看python自己实现的WSGI协议: wsgiref。这个名字明确告诉我们,大哥我只是个reference, 你们看看就好,千万不要用啊,性能没保障的啊。
#coding:utf-8
from wsgiref.simple_server import make_server, demo_app app = demo_app
server = make_server("127.0.0.1", 9000, app)
server.serve_forever()
demo_app就是个简单的web application, 我们看看他都干了什么
def demo_app(environ,start_response):
from io import StringIO
stdout = StringIO()
print("Hello world!", file=stdout)
print(file=stdout)
h = sorted(environ.items())
for k,v in h:
print(k,'=',repr(v), file=stdout)
start_response("200 OK", [('Content-Type','text/plain; charset=utf-8')])
return [stdout.getvalue().encode("utf-8")]
完美的满足的WSGI的标准,接受两个参数, environ和start_response, environ是一个包括了客户端所有请求信息和相关信息的dict, start_response 是一个可以发送响应状态和响应头的回调函数。除此之外, 我们的web application 把environ里面所有的信息都打印出来。
现在问题来了。我们应该如何调用这个web application呢?答案就是我们不用调,我们依靠web server 来调。让我们看看wsgiref里的webserver长什么样
class WSGIServer(HTTPServer): """BaseHTTPServer that implements the Python WSGI protocol""" application = None def server_bind(self):
"""Override server_bind to store the server name."""
HTTPServer.server_bind(self)
self.setup_environ() def setup_environ(self):
# Set up base environment
env = self.base_environ = {}
env['SERVER_NAME'] = self.server_name
env['GATEWAY_INTERFACE'] = 'CGI/1.1'
env['SERVER_PORT'] = str(self.server_port)
env['REMOTE_HOST']=''
env['CONTENT_LENGTH']=''
env['SCRIPT_NAME'] = '' def get_app(self):
return self.application def set_app(self,application):
self.application = application
这个web server 也同样很简单。继承了HTTPServer, 重写了server_bind方法,在绑定的同时创建了必要的环境变量。同时提供了绑定和获取web application的方法。
我们再来看看WSGIRequestHandler
class WSGIRequestHandler(BaseHTTPRequestHandler): server_version = "WSGIServer/" + __version__ def get_environ(self):
env = self.server.base_environ.copy()
env['SERVER_PROTOCOL'] = self.request_version
env['SERVER_SOFTWARE'] = self.server_version
env['REQUEST_METHOD'] = self.command
if '?' in self.path:
path,query = self.path.split('?',1)
else:
path,query = self.path,'' env['PATH_INFO'] = urllib.parse.unquote(path, 'iso-8859-1')
env['QUERY_STRING'] = query host = self.address_string()
if host != self.client_address[0]:
env['REMOTE_HOST'] = host
env['REMOTE_ADDR'] = self.client_address[0] if self.headers.get('content-type') is None:
env['CONTENT_TYPE'] = self.headers.get_content_type()
else:
env['CONTENT_TYPE'] = self.headers['content-type'] length = self.headers.get('content-length')
if length:
env['CONTENT_LENGTH'] = length for k, v in self.headers.items():
k=k.replace('-','_').upper(); v=v.strip()
if k in env:
continue # skip content length, type,etc.
if 'HTTP_'+k in env:
env['HTTP_'+k] += ','+v # comma-separate multiple headers
else:
env['HTTP_'+k] = v
return env def get_stderr(self):
return sys.stderr def handle(self):
"""Handle a single HTTP request""" self.raw_requestline = self.rfile.readline(65537)
if len(self.raw_requestline) > 65536:
self.requestline = ''
self.request_version = ''
self.command = ''
self.send_error(414)
return if not self.parse_request(): # An error code has been sent, just exit
return handler = ServerHandler(
self.rfile, self.wfile, self.get_stderr(), self.get_environ()
)
handler.request_handler = self # backpointer for logging
handler.run(self.server.get_app())
我们的WSGIRequestHandler会添加更多请求相关的信息放进environ里。同时重写了handle方法,在这里我们看到了熟悉的get_app(), 没错,就是在这里, 我们的web_application出现了。它会接受server 的 environ和回调函数start_response, 处理完成之后,再通过start_response 把HTTP Code 和HEADER发送给handler,通过return把http response返回给handler。
通过这个简单的示例,pyg0终于明白了WSGI是怎么回事儿。但是他也认同这个wsgiref实在是太low了。所以赶紧开始钻研老大推荐的gunicorn。
我们下回再见!
WSGI及gunicorn指北(一)的更多相关文章
- WSGI及gunicorn指北(二)
pyg0已经大概了解了wsgi.现在他决定深入探索他们实际在生产环境里用到的web 服务器 -gunicorn. 先来看看官网的介绍:Gunicorn 是一个运行在Unix上的python WSGI ...
- 关于supervisor的入门指北
关于supervisor的入门指北 在目前这个时间点(2017/07/25),supervisor还是仅支持python2,所以我们要用版本管理pyenv来隔离环境. pyenv 根据官方文档的讲解, ...
- 关于Gevent的使用指北
关于Gevent的使用指北 只是看了入门指南,和一个翻译文档.写一下个人读书心得. 其实看完之后,第一个反映就是asyncio这个系统库,感觉gevent现在所做的一些事情是与asyncio很像的,但 ...
- Python第十三天 django 1.6 导入模板 定义数据模型 访问数据库 GET和POST方法 SimpleCMDB项目 urllib模块 urllib2模块 httplib模块 django和web服务器整合 wsgi模块 gunicorn模块
Python第十三天 django 1.6 导入模板 定义数据模型 访问数据库 GET和POST方法 SimpleCMDB项目 urllib模块 urllib2模块 ...
- git宝典—应付日常工作使用足够的指北手册
最近公司gitlab又迁移,一堆git的命令骚操作,然鹅git命令,感觉还是得复习下——其实,git现在界面操作工具蛮多,比如intellij 自带的git操作插件就不错,gitlab github ...
- Python 简单入门指北(二)
Python 简单入门指北(二) 2 函数 2.1 函数是一等公民 一等公民指的是 Python 的函数能够动态创建,能赋值给别的变量,能作为参传给函数,也能作为函数的返回值.总而言之,函数和普通变量 ...
- Python 简单入门指北(一)
Python 简单入门指北(一) Python 是一门非常容易上手的语言,通过查阅资料和教程,也许一晚上就能写出一个简单的爬虫.但 Python 也是一门很难精通的语言,因为简洁的语法背后隐藏了许多黑 ...
- 可能比文档还详细--VueRouter完全指北
可能比文档还详细--VueRouter完全指北 前言 关于标题,应该算不上是标题党,因为内容真的很多很长很全面.主要是在官网的基础上又详细总结,举例了很多东西.确保所有新人都能理解!所以实际上很多东西 ...
- Celery入门指北
Celery入门指北 其实本文就是我看完Celery的官方文档指南的读书笔记.然后由于我的懒,只看完了那些入门指南,原文地址:First Steps with Celery,Next Steps,Us ...
随机推荐
- Python系列之 - 面向对象(1)
python是一门面向对象的编程语言,python中的一切均是对象. 有对象就提到类,对象和类就像是儿子和老子的关系,是不可分的一对. 什么是类 类就是具有一些共同特性的事物的统称.好比人类, ...
- Vue框架
Vue框架 环境: windows python3.6.2 Vue的cdn: <script src="https://cdn.jsdelivr.net/npm/vue"&g ...
- Java调用SQL脚本执行的方案
在Java中调用SQL脚本的方式有多种,在这里只记录一种自己常用的方式,个人觉得挺实用方便的. 运用ScriptRunner这个类. import org.apache.ibatis.io.Resou ...
- 简述angular自定义过滤器在页面和控制器中的使用
首先设置自定义过滤器. 定义模块名:angular ? 1 2 3 4 5 6 .module('myApp') .filter('filterName',function(){ return fun ...
- java--- 使用interrupte中断线程的真正用途
Java线程之中,一个线程的生命周期分为:初始.就绪.运行.阻塞以及结束.当然,其中也可以有四种状态,初始.就绪.运行以及结束. 一般而言,可能有三种原因引起阻塞:等待阻塞.同步阻塞以及其他阻塞(睡眠 ...
- [LeetCode] Monotone Increasing Digits 单调递增数字
Given a non-negative integer N, find the largest number that is less than or equal to N with monoton ...
- ios开发-日期处理(类似朋友圈,微博等的发送时间)
ios开发中,我们经常要处理从服务器获取的时间.类似朋友圈,微博这些应用.我们经常可以看到“刚刚”,“31分钟前发表”,“昨天5点”,之类的字样. 当时我们从服务器端获取的都是那条朋友圈信息,或者微博 ...
- 关于mysql驱动包的in语句的bug
今天发现一个MySQL驱动包执行in语句的一个bug,也许会有很多人还不知道,那么跟大家分享一下. 驱动包版本:mysql-connector-java-5.1.36.jar 在使用dbutils执行 ...
- C++Primer学习——各种运算符
前缀递增和后缀递增 class NewInt { public: NewInt():RootInt(0){}; NewInt(int IniInt):RootInt(IniInt){}; NewInt ...
- 51 nod 1188 最大公约数之和 V2
1188 最大公约数之和 V2 题目来源: UVA 基准时间限制:2 秒 空间限制:262144 KB 分值: 160 难度:6级算法题 给出一个数N,输出小于等于N的所有数,两两之间的最大公约数 ...