mysql数据库优化(四)-项目实战
在flask项目中,防止随着时间的流逝,数据库数据越来越多,导致接口访问数据库速度变慢。所以自己填充数据进行测试及 mysql优化
1.插入数据:
通过脚本,使用多进程,每100次提交数据
import multiprocessing
import time from flask import Flask
from flask_sqlalchemy import SQLAlchemy HOST = '127.0.0.1'
USER = "root"
PASSWD = ""
DB = "fwss_dev"
CHARTSET = "utf8" app = Flask(__name__, instance_relative_config=True)
# 链接数据库路径
app.config['SQLALCHEMY_DATABASE_URI'] = 'mysql://%s:%s@127.0.0.1:3306/%s?charset=%s' % (USER, PASSWD, DB, CHARTSET)
# 如果设置成 True (默认情况),Flask-SQLAlchemy 将会追踪对象的修改并且发送信号。这需要额外的内存, 如果不必要的可以禁用它。
app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = True
# 如果设置成 True,SQLAlchemy 将会记录所有 发到标准输出(stderr)的语句,这对调试很有帮助。
app.config['SQLALCHEMY_ECHO'] = False
# 数据库连接池的大小。默认是数据库引擎的默认值 (通常是 5)。
app.config['SQLALCHEMY_POOL_SIZE'] = 6
db = SQLAlchemy(app) def insert(count):
start = time.time()
for item in range(50000):
# time1 = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(time_one))
print(count)
for it in range(100):
db.session.execute(
f"""INSERT INTO order_bang (creator_id,redenvelope,status) VALUES
({count},12,0,'需要')"""
# f"INSERT INTO account_realauth (uid,`status`) VALUES({count},2)"
)
count += 1
db.session.commit()
print((time.time() - start) / 60) if __name__ == '__main__':
with app.app_context():
multiprocessing.Process(target=insert, args=(273256,)).start()
multiprocessing.Process(target=insert, args=(10273256,)).start()
multiprocessing.Process(target=insert, args=(20273256,)).start()
multiprocessing.Process(target=insert, args=(30273256,)).start()
以上只是展示 部分插入数据库的脚本,总共插入数据量如下: 用户表(account_user)110万用户,实名认证表(account_realauth)20万用户,某订单表(order_bang)2023万条。相关表结构如下:
CREATE TABLE `order_bang` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`creator_id` int(11) NOT NULL,
`status` tinyint(4) DEFAULT NULL,
`create_time` datetime DEFAULT NULL,
`province_id` char(6) COLLATE utf8mb4_unicode_ci DEFAULT NULL,
`city_id` char(4) COLLATE utf8mb4_unicode_ci DEFAULT NULL,
........
PRIMARY KEY (`id`),
KEY `ix_order_bang_province_id` (`province_id`),
KEY `ix_order_bang_status` (`status`),
KEY `bang_addr_index` (`province_id`,`city_id`),
KEY `ix_order_bang_create_time` (`create_time`),
KEY `ix_order_bang_creator_id` (`creator_id`)
)
2.在flask中记录查询较慢的sql语句及相关信息
本人设置最长查询时间为0.1秒便记录
相关 方法在:项目中记录影响性能的缓慢数据库查询
3.关闭mysql缓存功能
查看缓存是否开启,
输入命令:show variables like '%cache%'; query_cache_type值为OFF表示关闭
关闭方式输入如下:
one.
set global query_cache_type=0
set global query_cache_size=0
two.
查询中添加: Select sql_no_cache count(*) from account_user; 不缓存
4.查看相关结果,并进行优化
一:
时间耗时3.32秒。
分析得知:
where子句条件时uid进行筛选,而索引用的是 id。
解决方法:
第一种:在 uid上添加索引。
分析得知:
查询使用uid的索引,耗时0.002秒。
第二种:对于客户端不需要表中全部字段的情况,在查询时最好选择具体的字段,而不是直接 select * from table;这样 可以减少网络带宽
在sqlalchemy中为如下(直接使用类方法,及查询具体字段,而不是返回一个对象)
class RealAuth(DB.Model):
@classmethod
def get_success_realname(cls, uid):
db_result = DB.session.query(cls.real_name).filter(
and_(cls.uid == uid, cls.status == RealAuthStatus.SUCCESS)).order_by(
cls.id.desc()).limit(1).first()
总结:
错误原因:由于没有对where子句条件使用索引,导致查询过慢
经验教训:添加索引
二:在查订单时, 接口直接 无响应
sql语句如下:
索引如下:
city字段类型是 char类型
通过 explain查看本条sql,city_id传的值是int类型:
索引使用的是 create_time。
把city_id改为数据库中设定的 str 类型,再次查看
总结:
错误原因:导致此接口查询无响应的原因是 在 大量数据的情况下,没有规范 书写 sql查询的数据类型,导致 无法使用正确的索引,而导致此问题
经验教训:在开发中,在sql执行之前,一定要手动的把 查询条件的值的类型和设计表时的类型相对应,否则可能导致 数据库无法使用此索引,而出错。
待更新;
mysql数据库优化(四)-项目实战的更多相关文章
- mysql 数据库优化第一篇(基础)
Mysql数据库优化 1. 优化概述 存储层:存储引擎.字段类型选择.范式设计 设计层:索引.缓存.分区(分表) 架构层:多个mysql服务器设置,读写分离(主从模式) sql语句层:多个sql语句都 ...
- MySQL性能优化(四):SQL优化
原文:MySQL性能优化(四):SQL优化 版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/ ...
- 50多条mysql数据库优化建议
1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 缺省情况下建立的索引是非群集索引,但有时它并不是最佳的.在非群集索引下,数据在物理上随机存 ...
- 解开发者之痛:中国移动MySQL数据库优化最佳实践(转)
开源数据库MySQL比较容易碰到性能瓶颈,为此经常需要对MySQL数据库进行优化,而MySQL数据库优化需要运维DBA与相关开发共同参与,其中MySQL参数及服务器配置优化主要由运维DBA完成,开发则 ...
- 百万行mysql数据库优化和10G大文件上传方案
百万行mysql数据库优化和10G大文件上传方案 最近这几天正在忙这个优化的方案,一直没时间耍,忙碌了一段时间终于还是拿下了这个项目?项目中不要每次都把程序上的问题,让mysql数据库来承担,它只是个 ...
- 从运维角度来分析mysql数据库优化的一些关键点【转】
概述 一个成熟的数据库架构并不是一开始设计就具备高可用.高伸缩等特性的,它是随着用户量的增加,基础架构才逐渐完善. 1.数据库表设计 项目立项后,开发部根据产品部需求开发项目,开发工程师工作其中一部分 ...
- mysql数据库优化 pt-query-digest使用
mysql数据库优化 pt-query-digest使用 一.pt-query-digest工具简介 pt-query-digest是用于分析 mysql慢查询的一个工具,它可以分析binlog.Ge ...
- mysql数据库优化课程---18、mysql服务器优化
mysql数据库优化课程---18.mysql服务器优化 一.总结 一句话总结: 1.四种字符集问题:字符集都设置为utf-82.slow log慢查询日志问题3.root密码丢失 1.mysql存在 ...
- mysql数据库优化课程---9、php用什么写的
mysql数据库优化课程---9.php用什么写的 一.总结 一句话总结:php是用c语言写的,所以php里面的那些模块什么都是c语言 c 1.php用什么写的? c php是用c语言写的,所以php ...
- mysql数据库优化课程---6、mysql结构化查询语言有哪些
mysql数据库优化课程---6.mysql结构化查询语言有哪些 一.总结 一句话总结:主要分为四类 1.DCL 数据控制语言1)grant2)commit3)rollback 2.DDL 数据定义语 ...
随机推荐
- Daily record-September
September11. I feel much more reassured when I've been for a health check. 体检之后我感到放心多了.2. The diseas ...
- 给学习Linux系统小白的两三个建议
前段时间看过一个针对国内Linux使用情况的调研表,有了不少感慨.现在听说过linux,会一点linux基本操作的人多如牛毛,然而真正能用linux做一点事情的确少之又少.无论是公司还是学校,办公基本 ...
- Java生成带logo二维码
目前生成二维码的方式有很多种,本例采用谷歌的zxing,去白边,添加logo等处理均在代码中有注释 demo连接 https://github.com/littlechaser/qrcode.git
- Android开发 ---Media
1.ctivity_main.xml <?xml version="1.0" encoding="utf-8"?> <LinearLayout ...
- Java容器解析系列(0) 开篇
最近刚好学习完成数据结构与算法相关内容: Data-Structures-and-Algorithm-Analysis 想结合Java中的容器类加深一下理解,因为之前对Java的容器类理解不是很深刻, ...
- IntelliJ IDEA 如何生成时序图?
进入扩展程序安装 File > Settings > Plugins > Browse Repositories 搜索 SequenceDiagram,点击右边 Install 安装 ...
- Keras学习笔记(完结)
使用Keras中文文档学习 基本概念 Keras的核心数据结构是模型,也就是一种组织网络层的方式,最主要的是序贯模型(Sequential).创建好一个模型后就可以用add()向里面添加层.模型搭建完 ...
- SQL注入之Sqli-labs系列第三十三关(基于宽字符逃逸注入)
开始挑战第三十三关(Bypass addslashes) 0x1查看源码 本关和第三十二关其实是一样的,只是这里用到了addslashes()函数 function check_addslashes( ...
- nodeJS文件操作
让前端觉得如获神器的不是NodeJS能做网络编程,而是NodeJS能够操作文件.小至文件查找,大至代码编译,几乎没有一个前端工具不操作文件.换个角度讲,几乎也只需要一些数据处理逻辑,再加上一些文件操作 ...
- C++学习(三十七)(C语言部分)之 链式栈(推箱子实现)
用链表实现栈一开始在表头插入,就要一直在表头插入一开始在表尾插入,就要一直在表头插尾表头当栈底 也可以把表尾当栈底 实现的测试代码笔记如下: #include<stdio.h> #incl ...