之前用swoole(1.7.19)写的一段程序在数据量大的时候存在内存泄漏,改为twisted(15.4)实现,自测无误,记录如下(两者cpu占用率90%时吞吐rps能从120提升到1000)。

#!/usr/bin/env python

from twisted.internet import task, reactor
from twisted.python import log
from twisted.web import static, server, resource
import MySQLdb
import json class RotateMap(object):
def __init__(self):
self.using = 0
self.unuse = 1
self.map = [{},{}] def find(self, key):
if self.map[self.using].has_key(key):
return self.map[self.using][key]
return False def set(self, nmap):
self.map[self.unuse] = nmap
self._swap() def get(self):
return self.map[self.using] def _swap(self):
self.using,self.unuse = self.unuse,self.using check = RotateMap()
allow = RotateMap()
start = RotateMap() log.startLogging(open("/tmp/tserver.log",'w')) class TServer(resource.Resource):
isLeaf = True
def getChild(self, name, request):
if name == '':
return self
return Resource.getChild(self, name, request) def render_GET(self, request):
if request.requestHeaders.hasHeader("x-forwarded-for"):
log.msg("%s %s %s" % (request.requestHeaders.getRawHeaders("x-forwarded-for"), request.path, json.dumps(request.args)))
else:
log.msg("%s %s %s" % ("127.0.0.1", request.path, json.dumps(request.args))) if "/api1" == request.path:
if request.args.has_key("version"):
version = request.args["version"][0]
if version != "":
global start
info = start.get()
result = {}
if info["version"] != version:
result["needUp"] = True
result["version"] = info
else:
result["needUp"] = False return json.dumps(result) elif "/api2" == request.path:
host = ""
if request.args.has_key("host"):
host = request.args["host"][0]
global check
if host != "":
v1 = check.find(host)
if v1 == False:
v1 = ""
return "%s" % (v1) elif "/api3" == request.path:
host = ""
if request.args.has_key("host"):
host = request.args["host"][0]
v1 = v2 = 1
global allow
if host != "" and allow.find(host) != False:
v1 = 0
return "%d|%d" % (v1,v2) elif "/reload" == request.path:
cmd = "file"
if request.args.has_key("cmd"):
cmd = request.args["cmd"][0]
helper = ReloadHelper()
helper.reload(cmd)
return "done"
else:
request.setResponseCode(404)
return "404 not found" request.setResponseCode(400)
return "400 bad request" class ReloadHelper(object):
def reload(self, cmd):
log.msg("reload %s start" % (cmd))
if cmd == "db":
self._reloadDB()
elif cmd == "file":
self._reloadFile()
log.msg("reload %s end" % (cmd)) def _reloadFile(self):
data = {}
f = open("check.data")
line = f.readline()
while line:
domain, levelid = line.strip().split("|")
data[domain] = levelid
line = f.readline()
f.close()
global check
check.set(data) data = {}
f = open("allow.data")
line = f.readline()
while line:
domain = line.strip()
data[domain] = ""
line = f.readline()
f.close()
global allow
allow.set(data) def _reloadDB(self):
try:
conn=MySQLdb.connect(host='hostname',user='username',passwd='passwd',port=3306)
conn.select_db("dbname")
cur = conn.cursor()
cur.execute("set names utf8")
cur.execute("SELECT id, version, name FROM table ORDER BY id DESC LIMIT 1")
row = cur.fetchone()
if len(row) == 3:
data = {}
data["id"] = row[0]
data["version"] = row[1]
data["name"] = row[2]
global start
start.set(data)
cur.close()
conn.close()
except MySQLdb.Error, e:
log.err("mysql error %d, %s" %(e.args[0], e.args[1])) helper = ReloadHelper()
l = task.LoopingCall(helper.reload, "db")
l.start(600) l = task.LoopingCall(helper.reload, "file")
l.start(3600000) def main():
tserver = static.File("/usr/local/nginx/html")
tserver.putChild("service", TServer())
tserver.putChild("html", static.File("/usr/nginx/html")) reactor.listenTCP(8080, server.Site(tserver), 50, "127.0.0.1")
reactor.run() if __name__ == '__main__':
main()

twisted的一些代码的更多相关文章

  1. Python Twisted系列教程10:增强defer功能的客户端

    作者:dave@http://krondo.com/an-introduction-to-asynchronous-programming-and-twisted/ 译者:杨晓伟(采用意译) 可以从这 ...

  2. Python Twisted系列教程9:第二个小插曲,Deferred

    作者:dave@http://krondo.com/a-second-interlude-deferred/ 译者:杨晓伟(采用意译) 可以从这里从头来阅读这个系列 更多关于回调的知识 稍微停下来再思 ...

  3. Python 开源异步并发框架的未来

    http://segmentfault.com/a/1190000000471602 开源 Python 是开源的,介绍的这几个框架 Twisted.Tornado.Gevent 和 tulip 也都 ...

  4. Tornado模块分类和各模块之间的关系

    1. Core web framework tornado.web — 包含web框架的大部分主要功能,包含RequestHandler和Application两个重要的类 tornado.https ...

  5. tornado源码分析-模块介绍

    1.Core web framework tornado.web - web框架功能模块,包括RequestHandler和Application两个重要的类 tornado.httpserver - ...

  6. Tornado模块分类

    Tornado模块分类 1. Core web framework tornado.web — 包含web框架的大部分主要功能,包含RequestHandler和Application两个重要的类 t ...

  7. Tornado 模块概述

    Tornado模块分类 1. Core web framework tornado.web — 包含web框架的大部分主要功能,包含RequestHandler和Application两个重要的类 t ...

  8. Python框架之Tornado(概述)

    本系列博文计划: 1.剖析基于Python的Web框架Tornado的源码,为何要阅读源码? Tornado 由前 google 员工开发,代码非常精练,实现也很轻巧,加上清晰的注释和丰富的 demo ...

  9. 一个在交流群里讨论过两轮的问题,答案竟然跟一个 PEP 有关

    Python 中有没有办法通过类方法找到其所属的类? 这个问题看起来不容易理解,我可以给出一个例子: class Test: @xxx def foo(self): pass 现在有一个类和一个类方法 ...

随机推荐

  1. knockout 与checkbox联动

    knockout 通过teplate实现简单的代码实现复杂的操作绑定checkbox,代码如下自我感觉很赞!!! 前台HTml <ul data-bind="template: { n ...

  2. laravel5.1框架简介及安装

    最近自己出来实习了,进入了一个新的环境,不仅是生活中,在代码和架构中也完全是一个新的架构.由于公司使用laravel5.1框架,所以最近学习了laravel5.1框架,好了接下来就简单介绍一下lara ...

  3. Compiling Qt 5.5.1 (With Qtwebkit) With Visual Studio 2015

    I usually avoid writing articles about building a specific version of a software project but this ti ...

  4. qt介绍

    http://www.oschina.net/p/qt Qt 是一个跨平台的C++图形用户界面应用程序框架.它提供给开发者建立图形用户界面所需的功能,广泛用于开发GUI程序,也可用于开发非GUI程序. ...

  5. centos6.4 ceph安装部署之cephFS

    1,ceph fileSystem

  6. php获取服务器地址

    if ( isset( $_SERVER['HTTP_X_FORWARDED_HOST'] ) ) { // Support ProxyPass        $t_hosts = explode( ...

  7. css3 翻转和旋转的差别

    我曾经一直以为旋转跟翻转一样,今日自己旋转了好久都发觉跟翻转差一点点,纠结了十几分钟才明确,仅仅能怪自己的立体感太差了. css3中的transform中有旋转,放缩,倾斜,平移的功能,分别相应的属性 ...

  8. C#中使用日志类,添加dll时出现错误

    警告 1 未能解析引用的程序集 “log4net, Version=1.2.10.0, Culture=neutral, PublicKeyToken=1b44e1d426115821, proces ...

  9. Microsoft.Jet.OLEDB.4.0和Microsoft.ACE.OLEDB.12.0的适用版本

    Jet   可以访问 Office 97-2003,但不能访问 Office 2007. ACE 既可以访问 Office 2007,也可以访问 Office 97-2003. 另外:Microsof ...

  10. js清空页面控件值

    function funClear() {var txts = document.getElementsByTagName("input");for (var i = 0; i & ...