前言:
  • 需要异步操作MySQL,又要用orm,使用sqlalchemy需要加celery,觉得比较麻烦,选择了peewee-async
开发环境 python3.6.8+peewee-async0.5.12+peewee2.10.2
  • 数据库:MySQL,使用peewee-async需要依赖库 pip install aiomysql

  • peewee-async,对peewee版本只支持peewee<=2.10.2,>=2.8.0

  • python3.5以后使用async和await关键字实现原生协程,也可以使用tornado的gen模块下coroutine实现协程,或者asyncio模块实现协程,下文统一使用async和await

tornado 异步调用MySQL

  • 爬坑

    • 最初遇到的坑,使用了最新版的peewee,连接池连接,也使用了async和await协程,但是怎么调用都会阻塞,后来发现不是阻塞单个协程,是阻塞了整个进程,因为tornado是单进程,必须数据库也使用异步操作,才能不阻塞整个进程

    • pip install peewee-async 的时候默认会安装符合版本要求的peewee,想用最新的peewee模块可以使用--pre

    • 查看peewee-async 模块的MySQLDatabase,继承了AsyncDatabase和peewee.MySQLDatabase,AsyncDatabase方法全部使用协程实现异步

  • peewee-async 连接MySQL,返回database对象

    • 单连接

      import peewee_async
      # db = peewee_async.MySQLDatabase(database_name, host, port, user, password)
      # 或者,将自己的数据库信息封装到字典中
      db_setting = {
      "user": "root",
      "password": "xxxxxx",
      "host": "127.0.0.1",
      "port": 3306,
      "database": "test"
      }
      db = peewee_async.MySQLDatabase(**db_setting)
    • 连接池

      from playhouse.shortcuts import RetryOperationalError
      from peewee_async import PooledMySQLDatabase
      # 可以自动重新连接的连接池
      class RetryMySQLDatabase(RetryOperationalError, PooledMySQLDatabase):
      _instance = None @staticmethod
      def get_db_instance():
      if not RetryMySQLDatabase._instance:
      RetryMySQLDatabase._instance = RetryMySQLDatabase(database_name,
      host, port, user, password,
      max_connections=10)
      return RetryMySQLDatabase._instance db = RetryMySQLDatabase.get_db_instance()
  • 返回的database对象的一些常用方法

    • get_tables() 返回列表,当前数据库的所有表名

    • get_columns(table_name) 传参表名,返回列表,包含ColumnMetadata对象,字段信息

    • create_tables()

      第一个参数为列表,包含要创建的表model

      第二个参数safe, 不传默认为False,建表的时候如果表已经存在会报错,可以加safe=True

    • is_closed() 判断当前连接是否关闭

    • close() 关闭连接

  • peewee

    • peewee 模块可以参照官方文档用法,和sqlalchemy差别不大,为了下面的操作,暂时建一个model

    book.py

    # 集中写一个basemodel,将数据库对象绑定在model上,类才能映射到数据库中的表
    class BaseModel(Model):
    class Meta:
    database = db
    class Book(BaseModel):
    book_id = PrimaryKeyField() # int 主键自增,在peewee3.10 版本中新增了字段AutoField,表示主键自增
    book_name = CharField(max_length=100, verbose_name="书名")
    # 鉴于篇幅, 作者表不写,外键第一个参数为model类名,to_field表示关联的字段
    book_auth = ForeignKeyField(User, to_field="user_id", verbose_name="作者id")
  • peewee-async Manager

    • 管理数据库操作,实现异步操作数据库必须使用Manager,查看源码可以看到,类中的get, create, execute等方法都是使用装饰器@asyncio.coroutine加yield from,在原有的数据库操作基础上做了封装
    • 初始化传入数据库连接对象,生成manager对象,使用该对象完成数据库操作,在tornado中一般选择绑定到app上
    from tornado.web import RequestHandler
    from tornado import gen
    import tornado.ioloop
    from book import Book class RegHandler(RequestHandler):
    async def get(self):
    # 在handler类中可以使用绑定到app上的manager对象执行操作,因为是异步操作需要使用await关键字
    # 以下两种查询方式返回结果对象格式不同
    book_res = await self.application.objects.get(Book, book_name="简爱")
    id = book_res.book_id
    # 只有调用了execute方法才是执行,query打印可以看到只是生成了sql语句
    # 为保证异步调用必须使用peewee-async manager生成的对象执行操作函数,不能使用model的execute执行,会同步阻塞
    query = Book.select().where(Book.username=="简爱")
    # execute执行返回AsyncQueryWrapper对象,如果有值可以通过下标取出每个book对象
    # query 对象执行前可以调用dicts()方法,返回对象内容为字典格式
    # query.tuples() 返回对象内容为元组格式,相当于sqlalchemy,fetchall()
    # 其他方法或者属性有需要的可以使用dir()方法和getattr()方法查看属性,以及属性调用后返回值
    book_res = await self.application.objects.execute(query.dicts())
    pass
    async def post(self):
    from tornado.escape import json_decode
    body = json_decode(self.request.body)
    # 增
    # 如果参数是字典格式,且key值对应字段名称,可以使用peewee model里面的insert方法
    await self.application.objects.execute(Book.insert(body))
    # 或者使用封装的create方法,create方法源码还是调用了model类的insert方法
    await self.application.objects.create(Book, boo_name=body.get("book"), book_auth=2)
    pass app = tornado.web.Application([
    (r"/book", BookHandler)
    ]) if __name__ == '__main__':
    app = tornado.web.Application(urlpaten)
    import peewee_async
    # 将manager对象绑定到app上
    app.objects = peewee_async.Manager(database)
    server = httpserver.HTTPServer(app, xheaders=True)
    server.listen(80)
    tornado.ioloop.IOLoop.current().start()

  • 初步介绍先先写到这里,通过上述介绍使用peewee和peewee-async没有大问题,后面会通过详细功能具体详细介绍使用,细小的api建议看官方文档

  • 有问题欢迎指出,随时修正

tornado+peewee-async+peewee+mysql(一)的更多相关文章

  1. async 配合mysql

    async-db.js const mysql = require('mysql') const pool = mysql.createPool({ host : '127.0.0.1', user ...

  2. 在tornado中使用异步mysql操作

    在使用tornado框架进行开发的过程中,发现tornado的mysql数据库操作并不是一步的,造成了所有用户行为的堵塞.tornado本身是一个异步的框架,要求所有的操作都应该是异步的,但是数据库这 ...

  3. flask+mako+peewee(下)(解决了Error 2006: MySQL server has gone away)

    这篇主要介绍在这次项目中使用的peewee 文档地址:http://peewee.readthedocs.org/en/latest/index.html 首先我们要初始化一个数据库连接对象.这里我使 ...

  4. peewee在flask中的配置

    # 原文:https://blog.csdn.net/mouday/article/details/85332510 Flask的钩子函数与peewee.InterfaceError: (0, '') ...

  5. python轻量级orm框架 peewee常用功能速查

    peewee常用功能速查 peewee 简介 Peewee是一种简单而小的ORM.它有很少的(但富有表现力的)概念,使它易于学习和直观的使用. 常见orm数据库框架 Django ORM peewee ...

  6. Python 操作 MySQL 的5种方式(转)

    Python 操作 MySQL 的5种方式 不管你是做数据分析,还是网络爬虫,Web 开发.亦或是机器学习,你都离不开要和数据库打交道,而 MySQL 又是最流行的一种数据库,这篇文章介绍 Pytho ...

  7. MySQL server has gone away && Lost connection to MySQL server during query

    问题一.MySQL server has gone away ##### peewee from peewee import * from peewee import __exception_wrap ...

  8. Python 操作 MySQL 的5种方式

    不管你是做数据分析,还是网络爬虫,Web 开发.亦或是机器学习,你都离不开要和数据库打交道,而 MySQL 又是最流行的一种数据库,这篇文章介绍 Python 操作 MySQL 的5种方式,你可以在实 ...

  9. Tornado模块分类和各模块之间的关系

    1. Core web framework tornado.web — 包含web框架的大部分主要功能,包含RequestHandler和Application两个重要的类 tornado.https ...

  10. Tornado模块分类

    Tornado模块分类 1. Core web framework tornado.web — 包含web框架的大部分主要功能,包含RequestHandler和Application两个重要的类 t ...

随机推荐

  1. angular 自定义服务封装自定义http请求

    在angular中将http请求,放置在一起封装成服务,可减少代码重复,方便使用 var ngpohttprest = angular.module('ngpohttprest', []); ngpo ...

  2. Ubuntu14 安装JDK 8

    参考: [1]Ubuntu安装JDK7/JDK8 [2]Oracle官网安装JDK10 安装包安装 本文采用安装包安装方式 1.下载JDK安装包 JDK8下载 ,根据所使用系统选择安装包(这里选.ta ...

  3. 使 Firefox 和 Vivaldi 只在新标签页显示书签栏

    Firefox 新建 ~/.mozilla/firefox/rre9emvh.default/chrome/userChrome.css (大概不同人的 rre9emvh.default 目录会有不同 ...

  4. 后台:Django项目创建

    后台:Django项目创建 环境 """ 为luffy项目创建一个虚拟环境 >: mkvirtualenv luffy """ &qu ...

  5. HashMap ( Java 8)

    HashTable是早起java提供的基于hash表的实现,不允许存放null键和值,是同步的,影响开销,不太被推荐. HashMap行为上和HashTable差不多,不是同步的,允许键和值为null ...

  6. Bootstrap入门(一)准备

    Bootstrap入门(一)准备         网页的样式化与布局展示是很多开发者要面对的问题,目前有多的框架和工具包,可以使网页设计的任务变得更加简单.轻松.方便.快捷一些,其中,bootstra ...

  7. IDEA 单行注释与代码对齐

    效果 修改步骤 Settings -> Editor -> Code Style (1)修改.java文件的注释 comment   评论.注释.意见. (2)修改.html文件的注释 ( ...

  8. IdentityServer4专题之一:OAuth2.0介绍

    1.OAuth 2.0授权方式介绍: OAuth 2.0 的标准是 RFC 6749 文件.该文件先解释了 OAuth 是什么: OAuth 引入了一个授权层,用来分离两种不同的角色:客户端和资源所有 ...

  9. js隐藏button

    $("#plshbtn").attr("style","display:none;");

  10. 1-8SpringBoot之切面AOP

    SpringBoot提供了强大AOP支持,我们前面讲解过AOP面向切面,所以这里具体AOP原理就补具体介绍: AOP切面主要是切方法,我们一般搞一些日志分析和事务操作,要用到切面,类似拦截器: @As ...