通过CONN_MAX_AGE优化Django的数据库连接

上周对我们用Django+Django-rest-framework提供的一套接口进行了压力测试.压测的过程中,收到DBA通知——数据库连接数过多,希望我们优化下程序.具体症状就是,如果设置mysql的最大连接数为1000,压测过程中,很快连接数就会达到上限,调整上限到2000,依然如此. Django的数据库连接 Django对数据库的链接处理是这样的,Django程序接受到请求之后,在第一访问数据库的时候会创建一个数据库连接,直到请求结束,关闭连接.下次请求也是如此.因此,这种情况下,随着访…

mybatis性能优化之降低数据库连接

做性能优化的最重要的功能就是降低数据库的交互.非常多程序猿一般在开发的时候仅仅考虑简单的实现功能,无论业务简单复杂,仅仅要实现即可. mybatis有个重要的功能就是考虑在联合查询时技巧: <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.…

Django MySQL 数据库连接

Django 1.11 官方文档常规说明数据库连接 CONN_MAX_AGE 定义数据库连接时限(ALL) default:0 保存在每个请求结束时关闭数据库连接的历史行为. None:保持长连接 Other:xx 单位秒连接管理 Django连接发生在每次请求时,如果没有可用连接便主动建立连接,如果限制了连接时间的话. 警告每个线程包含自己的数据库连接,数据库必须支持至少和工作线程一样多的同步连接: 有时出现大多数视图无法访问数据库,此时应当试图减少数据库保持连接时间,这样不会有意地维…

优化Django ORM中的性能问题(含prefetch_related 和 select_related)

Django是个好工具,使用的很广泛. 在应用比较小的时候,会觉得它很快,但是随着应用复杂和壮大,就显得没那么高效了.当你了解所用的Web框架一些内部机制之后,才能写成比较高效的代码. 怎么查问题 Web系统是个挺复杂的玩意,有时候有点无从下手哈.可以采用自底向上的顺序,从数据存储一直到数据展现,按照这个顺序一点一点查找性能问题. 数据库 (缺少索引/数据模型) 数据存储接口 (ORM/低效的查询) 展现/数据使用 (Views/报表等) Web应用的大部分问题都会跟数据库扯上关系.除非…

django修改数据库连接

settings.py DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'domain', 'USER': 'root', 'PASSWORD': 'fZrJLmM8)pU', 'HOST': '192.168.23.166', 'PORT': '3306', 'OPTIONS': { 'autocommit': True, }, } } pip install pymysql import pym…

Django之数据库连接与建模

Django数据库链接(这里以Mysql为例) 需要准备 Django1.10 pip install django==1.10 -i https://pypi.tuna.tsinghua.edu.cn/simple PyMySQL pip install PyMySQL -i https://pypi.tuna.tsinghua.edu.cn/simple MySQL数据库修改项目的settings文件 DATABASES = { 'default': { 'ENGINE': 'django…

mybatis中的一点优化问题（数据库连接分开，别名，日志打印）

一:数据的链接 1.目录 2.新建一个db.properties driver=com.mysql.jdbc.Driver url=jdbc:mysql://127.0.0.1:3308/mybatis username=root password=123456 3.Configuration.xml中引用,以及使用 <?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE configuration PU…

django 数据库连接模块解析及简单长连接改造

django 数据库连接模块解析及简单长连接改造工作中纯服务端的项目用到了线程池和django的ORM部分.django 的数据库连接在每一个线程中开启一份,并在查询完毕后自动关闭连接. 线程池处理任务时,正常使用的连接中不会被关闭,但由于数据库端有最长连接时间的限制(默认为8小时),在超时后会发生InterfaceError: (0, '')(连接关闭后使用连接/游标)或Error(2006, 'MySQL server has gone away')(mysql 服务器主动关闭连接)这类错误…

浅谈提高Django性能

Django性能优化是一件困难的事情,但是也不常常如此: 下面4步将能够轻松的提高你的网站的性能,它们非常简单你应该将它们作为标配. 持久化数据库连接 django1.6以后已经内置了数据库持久化连接,很多人使用PostgreSQL作为它们的线上数据库系统,而当我们连接PostgreSQL有时会显得很慢,这里我们可以进行优化. 没有持久化连接,每一个网站的请求都会与数据库建立一个连接.如果数据库不在本地,尽管网速很快,这也将花费20-75ms. 设置持久化连接,仅需要添加CONN_MAX_AG…

django核心配置项

Django的默认配置文件中,包含上百条配置项目,其中很多是我们‘一辈子’都不碰到或者不需要单独配置的,这些项目在需要的时候再去查手册. 强调:配置的默认值不是在settings.py文件中!不要以为settings.py中的配置值就是默认值,参考前文.settings.py是使用django-admin startproject xxx命令时,额外给我们创建的. 下面介绍的是61个相对比较常用和重要的配置项,按字母顺序排序,但是最后部分是cache.auth.message.session.s…

nginx+uwsgi+django+supervisor+mysql+redis

目录 1. 概述 3 2. 安装与配置 3 2.1 django项目与应用创建 3 2.2 uwsgi安装与配置 6 2.3 supervisor安装与配置 8 2.4 nginx安装与作为反向代理服务器的配置 10 3. nginx+uwsgi优化 16 3.1 uwsgi进程线程数配置优化 16 3.2 Django数据库连接参数CONN_MAX_AGE优化 20 3.3 nginx中worker_rlimit_nofile与worker_connections优化 21 1. 概述基…

第六章：Django 综合篇 - 2：核心配置项

Django的默认配置文件中,包含上百条配置项目,其中很多是我们'一辈子'都不碰到或者不需要单独配置的,这些项目在需要的时候再去查手册. 强调:配置的默认值不是在settings.py文件中!不要以为settings.py中的配置值就是默认值,参考前文.settings.py是使用django-admin startproject xxx命令时,额外给我们创建的. 下面介绍的是61个相对比较常用和重要的配置项,按字母顺序排序,但是最后部分是cache.auth.message.session.s…

django配置app登录案例*orm简用

1.静态文件的配置和使用 1.静态文件的配置和使用没有css样式: 添加样式结果: <html lang="en"> <head> <meta charset="utf-8"> <title>Signin Template for Bootstrap</title>  <link href="https://cdn.boo…

Django 数据库

一.操作数据库 Django配置连接数据库: 在操作数据库之前,首先先要连接数据库.这里我们以配置MySQL为例来讲解.Django连接数据库,不需要单独的创建一个连接对象.只需要在settings.py文件中做好数据库相关的配置就可以了.示例代码如下: DATABASES = { 'default': { # 数据库引擎(是mysql还是oracle等) 'ENGINE': 'django.db.backends.mysql', # 数据库的名字 'NAME': 'dfz', # 连接mysq…

潭州课堂25班：Ph201805201 django 项目第四十六课查错补缺（课堂笔记

从讲项目开始,查找错误,完善笔记,尽可能翻译没一句代码(以后台为主), 本项目亮点,也是重点 Django ORM中对数据查询的优化(only.defer.select_related) redis缓存短信验证码.图片验证码.用户session 使用docker容器搭建数据集群负载均衡.读写分离使用django缓存机制 User模型的拓展数据库的设计能力数据库的多表关联设计数据库更新的优化 django信号机制使用使用celery发送手机短信自定义用户.用户组以及权限的管理使用d…

Django学习笔记之数据库-数据库与模型

MySQL数据库在网站开发中,数据库是网站的重要组成部分.只有提供数据库,数据才能够动态的展示,而不是在网页中显示一个静态的页面.数据库有很多,比如有SQL Server.Oracle.PostgreSQL以及MySQL等等.MySQL由于价格实惠.简单易用.不受平台限制.灵活度高等特性,目前已经取得了绝大多数的市场份额.因此我们在Django中,也是使用MySQL来作为数据存储. 数据库相关软件 MySQL数据库安装在MySQL的官网下载MySQL数据库安装文件:https://dev.m…

django时差8个小时问题

问题现象: 在用django做好的网站,上传图片后显示的发布时间比当前时间差了8小时查找问题: 查看服务器系统时间,经查与当前时间一致,无问题查看数据库中的时间也一样最终原因: 在settings文件中,设置了时区为TIME_ZONE = 'UTC',使程序执行时使用了UTC时区时间,所以比当前时间慢8小时,修改为TIME_ZONE = 'Asia/Shanghai',注释掉USE_TZ = True,解决问题! LANGUAGE_CODE = 'en-us' # 优化django时差8个…

Django—— 缓存框架

译者注:1.无用的,吹嘘的说辞不翻译:2.意译,很多地方不准确. 动态网站最为重要的一点就是好,网页是动态的.每一次用户请求页面,网站就要进行各种计算——从数据库查询,到render模板,到各种逻辑运算——生成页面所需的.这个过程是异常消耗资源的,远远比从硬盘读取一个文件然后显示出来的代价高昂. 对于大多数中小网站来说,这也许不是问题,因为他们的访问量不大,而对于大型网站而言,必须尽量减少不必要的服务器资源开支. 因此,有了缓存技术. 缓存就是把一些需要消耗很多资源的计算结果保存下来,当下次需要…

Flask&&人工智能AI --5 Flask-session、WTForms、数据库连接池、Websocket

未完待续.... DButils 什么是数据库连接池数据库连接池负责分配.管理和释放数据库连接,它允许应用程序重复使用一个现有的数据库连接,而不是再重新建立一个:释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接漏洞. 直接连接数据的缺点用户每次请求都需要向数据库获得链接,而数据库创建连接通常需要消耗相对较大的资源,创建时间也比较长.假设王者一天10万访问量,数据库服务器就需要创建10万次连接,极大的浪费数据库的资源,并且极易造成数据库服务器内存溢出.拓机…

django的F和Q对象

F表达式和Q表达式: # 示例模型如下 class Book(models.Model): """图书模型""" name = models.CharField(max_length=300) pages = models.IntegerField() price = models.FloatField() rating = models.FloatField() author = models.ForeignKey(Author, on_del…

让Django支持数据库长连接（可以提高不少性能哦）

书接上回上回我们说到:<在生产系统使用Tornado WebServer来代替FastCGI加速你的Django应用> 那么现在很流行用一些高性能的nonblock的app server来host Django的应用,这些Server可以看做是一个单进程单线程的程序,然后用nginx在前端反向代理并且负载均衡到N多个后端工作进城来充分利用多CPU的性能,当然这部分的配置工作在上回已经说得很清楚了.但是对于Django来说有一个问题.因为Django的数据库连接是在查询的时候实时创建的,用完就…

django autocommit的一个坑，读操作的事务占用导致锁表

版权归作者所有,任何形式转载请联系作者.作者:petanne(来自豆瓣)来源:https://www.douban.com/note/580618150/ 缘由:有一个django守护进程Daemon一直在后台运行,轮询读数据库,导致被锁无法ALTER表结构.涉及django==1.4 django==1.9 mysql 在1.4中(1.5之前版本均为这样),默认的transaction为autocommit,在读写数据库时,均会对数据表产生一个状态为RUNNING的事务,写操作在save的时候…