数据库是一种工具,在合理的条件下使用数据库可以获得许多益处。

  • 使用SQL语句可以完成复杂的统计,可以少写许多复杂逻辑
  • 使用数据库无需担心内存溢出问题
  • 原来可能需要许多文件来保存,现在只需要一个sqlite db文件就足够了

一、使用conn.executemany批量执行

executemany的速度是execute的2倍。

import os
import sqlite3
import timeit db_name = "test.db"
insert_size = 1000000 def clear(conn):
conn.execute("DROP TABLE IF EXISTS user")
conn.execute("CREATE TABLE user (name VARCHAR(10),age INT)") def execute():
conn = sqlite3.connect(db_name)
clear(conn)
for i in range(insert_size):
conn.execute("INSERT INTO user (name,age) VALUES(?,?)", ("user%s" % i, i))
conn.close() def execute_many():
def data_iter():
for i in range(insert_size):
yield "user%s" % i, i conn = sqlite3.connect(db_name)
clear(conn)
conn.executemany("INSERT INTO user(name,age)VALUES(?,?)", data_iter())
conn.close() print(timeit.timeit(execute, number=1)) #6.94724779695861
print(timeit.timeit(execute_many, number=1)) #3.6068240203748756
os.remove(db_name)

二、直接用conn即可,不需要游标

使用游标大概是JDBC倡导的东西,实际上在很多数据库连接库中直接使用连接即可。

在线示例和文档中通常如下:

connection = sqlite3.connect(':memory:')
cursor = connection.cursor()
# Do something with cursor

但大多数情况下,你根本不需要光标,你可以直接使用连接对象(本文末尾会提到)。像execute和executemany类似的操作可以直接在连接上调用。以下是一个证明此事的示例:

import sqlite3
connection = sqlite3(':memory:')
# Create a table
connection.execute('CREATE TABLE events(ts, msg)') # Insert values
connection.executemany(
'INSERT INTO events VALUES (?,?)',
[
(1, 'foo'),
(2, 'bar'),
(3, 'baz')
]
)
# Print inserted rows
for row in connnection.execute('SELECT * FROM events'):
print(row)

三、光标可用于迭代

你可能经常会看到使用fetchone或fetchall来处理SELECT查询结果的示例。但是我发现处理这些结果的最自然的方式是直接在光标上迭代:

for row in connection.execute('SELECT * FROM events'):
print(row)

四、使用Pragmas

在你的程序中有几个 pragma 可用于调整 sqlite3 的行为。特别地,其中一个可以改善性能的是synchronous

connection.execute('PRAGMA synchronous = OFF')

此命令让sqlite停止了一些安全性检测,这可能是危险的。如果应用程序在事务中间意外崩溃,数据库可能会处于不一致的状态。所以请小心使用! 但是如果要更快地插入很多行并且自己确信不需要sqlite帮忙做一些无用的检测,那么这是一个选择。

五、推迟索引创建

假设你需要在数据库上创建几个索引,而你需要在插入很多行的同时创建索引。把索引的创建推迟到所有行的插入之后可以导致实质性的性能改善。

六、使用占位符不要拼串

使用 Python 字符串操作将值包含到查询中是很方便的。但是这样做非常不安全,而 sqlite3 给你提供了更好的方法来做到这一点:

# Do not do this!
my_timestamp = 1
c.execute("SELECT * FROM events WHERE ts = '%s'" % my_timestamp) # Do this instead
my_timestamp = (1,)
c.execute('SELECT * FROM events WHERE ts = ?', my_timestamp)

此外,使用Python%s(或格式或格式的字符串常量)的字符串插值对于executemany来说并不是总是可行,这更凸显了占位符比拼串有优势。

七、使用反射

查询执行完毕之后得到的结果是一个元组,元组的每列表示什么含义可以通过cursor.description来获得。cursor.description可以看做一个二维字符串。

def to_json(cursor: sqlite3.Cursor, row):
# 将一行数据和cursor转化为一个dict
a = {}
for col in cursor.description:
a[col[0]] = row
return a

八、存储二进制数据

存储二进制数据就是存储bytes类型的对象。

import os
import sqlite3 import numpy as np db_name = "test.db"
conn = sqlite3.connect(db_name)
conn.execute("DROP TABLE IF EXISTS test")
conn.execute("CREATE TABLE test(data BLOB)")
a = np.random.random((3, 4)).astype(np.float32)
print(a)
row = a[0].tobytes().hex()
conn.executemany("INSERT INTO test(data)VALUES (?)", map(lambda x: (sqlite3.Binary(x.tobytes()),), a))
b = conn.execute("SELECT * FROM test").fetchall()
for i in b:
print(i, len(i[0]))
i = np.fromstring(i[0], dtype=np.float32)
print(i)
print(conn.execute("SELECT length(data) FROM test").fetchall()) # 输出16,16,16
conn.close()
os.remove(db_name)

存储二进制容易犯的一个错误就是把blob字段当成字符串来用,这样会导致一个字节使用两个16进制字符来表示,空间平白无故地多用一倍。

import os
import sqlite3 import numpy as np db_name = "test.db"
conn = sqlite3.connect(db_name)
conn.execute("DROP TABLE IF EXISTS test")
conn.execute("CREATE TABLE test(data BLOB)")
a = np.random.random((3, 4)).astype(np.float32)
print(a)
row = a[0].tobytes().hex()
conn.executemany("INSERT INTO test(data)VALUES (?)", map(lambda x: (x.tobytes().hex(),), a))
b = conn.execute("SELECT * FROM test").fetchall()
for i in b:
print(i, len(i[0]))
i = np.fromstring(bytes.fromhex(i[0]), dtype=np.float32)
print(i)
print(conn.execute("SELECT length(data) FROM test").fetchall()) # 输出32,32,32
conn.close()
os.remove(db_name)

九、sqlite中的锁

sqlite3的锁及事务类型

sqlite3总共有五种锁,按锁的级别依次是:UNLOCKED /SHARED /RESERVERD /PENDING /EXCLUSIVE。

当执行select即读操作时,需要获取到SHARED锁(共享锁),当执行insert/update/delete操作(即内存写操作时),需要进一步获取到RESERVERD锁(保留锁),当进行commit操作(即磁盘写操作时),需要进一步获取到EXCLUSIVE锁(排它锁)。

对于RESERVERD锁,sqlite3保证同一时间只有一个连接可以获取到保留锁,也就是同一时间只有一个连接可以写数据库(内存),但是其它连接仍然可以获取SHARED锁,也就是其它连接仍然可以进行读操作(这里可以认为写操作只是对磁盘数据的一份内存拷贝进行修改,并不影响读操作)。

对于EXCLUSIVE锁,是比保留锁更为严格的一种锁,在需要把修改写入磁盘即commit时需要在保留锁/未决锁的基础上进一步获取到排他锁,顾名思义,排他锁排斥任何其它类型的锁,即使是SHARED锁也不行,所以,在一个连接进行commit时,其它连接是不能做任何操作的(包括读)。

PENDING锁(即未决锁),则是比较特殊的一种锁,它可以允许已获取到SHARED锁的事务继续进行,但不允许其它连接再获取SHARED锁,当已存在的SHARED锁都被释放后(事务执行完成),持有未决锁的事务就可以获得commit的机会了。sqlite3使用这种锁来防止writer starvation(写饿死)。

死锁的情况

死锁的情况

当两个连接使用begin transaction开始事务时,第一个连接执行了一次select操作(已经获取到SHARED锁),第二个连接执行了一次insert操作(已经获取到了RESERVERD锁),此时第一个连接需要进行一次insert/update/delete(需要获取到RESERVERD锁),第二个连接则希望执行commit(需要获取到EXCLUSIVE锁),由于第二个连接已经获取到了RESERVERD锁,根据RESERVERD锁同一时间只有一个连接可以获取的特性,第一个连接获取RESERVERD锁的操作必定失败,而由于第一个连接已经获取到SHARED锁,第二个连接希望进一步获取到EXCLUSIVE锁的操作也必定失败。就导致了事务死锁。

事务类型的使用原则

在用”begin transaction”显式开启一个事务时,默认的事务类型为DEFERRED,锁的状态为UNLOCKED,即不获取任何锁,如果在使用的数据库没有其它的连接,用begin就可以了。如果有多个连接都需要对数据库进行写操作,那就得使用BEGIN IMMEDIATE/EXCLUSIVE开始事务了。

使用事务的好处是:1.一个事务的所有操作相当于一次原子操作,如果其中某一步失败,可以通过回滚来撤销之前所有的操作,只有当所有操作都成功时,才进行commit,保证了操作的原子特性;2.对于多次的数据库操作,如果我们希望提高数据查询或更新的速度,可以在开始操作前显式开启一个事务,在执行完所有操作后,再通过一次commit来提交所有的修改或结束事务。

对SQLITE_BUSY的处理

当有多个连接同时对数据库进行写操作时,根据事务类型的使用原则,我们在每个连接中用BEGIN IMMEDIATE开始事务,即多个连接都尝试取得保留锁的情况,根据保留锁同一时间只有一个连接可以获取到的特性,其它连接都将获取失败,即事务开始失败,这种情况下,sqlite3将返回一个SQLITE_BUSY的错误,如果我们不希望操作就此失败而返回,就必须处理SQLITE_BUSY的情况,sqlite3提供了sqlite3_busy_handler或sqlite3_busy_timeout来处理SQLITE_BUSY,对于sqlite3_busy_handler,我们可以指定一个busy_handler来处理,并可以指定失败重试的次数。而sqlite3_busy_timeout则是由sqlite3自动进行sleep并重试,当sleep的累积时间超过指定的超时时间时,最终返回SQLITE_BUSY。需要注意的是,这两个函数同时只能使用一个,后面的调用会覆盖掉前次调用。从使用上来说,sqlite3_busy_timeout更易用一些,只需要指定一个总的超时时间,然后sqlite自己会决定多久进行重试以及重试的次数,直到达到总的超时时间最终返回SQLITE_BUSY。并且,这两个函数一经调用,对其后的所有数据库操作都有效,非常方便。

参考资料

https://www.cnblogs.com/nice107/p/8067165.html

https://zhuanlan.zhihu.com/p/26576194

sqlite3常用技巧的更多相关文章

  1. 【shell 大系】Linux Shell常用技巧

    在最近的日常工作中由于经常会和Linux服务器打交道,如Oracle性能优化.我们数据采集服务器的资源利用率监控,以及Debug服务器代码并解决其效率和稳定性等问题.因此这段时间总结的有关Linux ...

  2. oracle存储过程常用技巧

    我们在进行pl/sql编程时打交道最多的就是存储过程了.存储过程的结构是非常的简单的,我们在这里除了学习存储过程的基本结构外,还会学习编写存储过程时相关的一些实用的知识.如:游标的处理,异常的处理,集 ...

  3. Vim 常用技巧:

    Vim 常用技巧: 将回车由默认的8个空格改为4个空格: 命令:set sw=4 修改tab为4空格: 命令:set ts=4 设置每一级的缩进长度: 命令:set shiftwidth=4 设置文件 ...

  4. JS~~~ 前端开发一些常用技巧 模块化结构 &&&&& 命名空间处理 奇技淫巧!!!!!!

    前端开发一些常用技巧               模块化结构       &&&&&     命名空间处理 奇技淫巧!!!!!!2016-09-29    17 ...

  5. Android ListView 常用技巧

    Android ListView 常用技巧 Android TextView 常用技巧 1.使用ViewHolder提高效率 ViewHolder模式充分利用了ListView的视图缓存机制,避免了每 ...

  6. JavaScript常用技巧总结(持续添加中...)

    在我学习过程中收集的一些常用技巧: typeof x !== undifined 判断x是否已定义: x === Object(x)  判断x是否为对象: Object.keys(x).length ...

  7. Eclipse调试常用技巧(转)

    Eclipse调试常用技巧 转自http://daimojingdeyu.iteye.com/blog/633824 1. 条件断点 断点大家都比较熟悉,在Eclipse Java 编辑区的行头双击就 ...

  8. AS技巧合集「常用技巧篇」

    转载:http://www.apkbus.com/forum.php?mod=viewthread&tid=254723&extra=page%3D2%26filter%3Dautho ...

  9. iPhone不为人知的功能常用技巧,看完后才发现很多用iPhone的人实在是愧对乔布斯! - imsoft.cnblogs

    很多人花了四五千买部苹果,结果只用到四五百块钱的普通手机功能. iPhone不为人知的功能,常用技巧: 网上搜集整理的iPhone快捷键操作,虽然表面上iPhone按键只有一个HOME键,大部分操作都 ...

随机推荐

  1. Effective前端1---chapter 1 HTML/CSS优化

    最近在读高效前端:web高效编程与优化实践,借此本书的感受总结下前端代码与性能优化,纯属自己见解,如有错误,欢迎指出. 1.能用HTML/CSS解决的问题就不要用js 场景1:鼠标悬浮时显示 鼠标悬浮 ...

  2. webpack搭建vue项目,实现脚手架功能

    本文基于node.js开发环境,安装完node之后新建项目,通过webpack配置,实现vue-cli脚手架功能 对于刚刚接触编程的人来说,最难的可能并不是学习一种新语法或者框架,而是编程思维,这种思 ...

  3. python简单名片管理系统

  4. BZOJ-4-2038: [2009国家集训队]小Z的袜子(hose)-莫队

    思路 :分块 思想 处理离线查询操作  对查询进行排序 在同一块内的按照 r 进行排序 不同块 的按照 L进行排序. #include<bits/stdc++.h> using names ...

  5. mongoose update操作属性中的变量

    最近在学习mongoose操作数据库,利用schema模型.记录一下通过使用update()操作实现数据库更新: 可在属性中添加变量,'属性名.0',可以修改该属性的第一条属性,依次类推,但是如果想实 ...

  6. SpringBoot的国际化使用

    在项目中,很多时候需要国际化的支持,这篇文章要介绍一下springboot项目中国际化的使用. 在这个项目中前端页面使用的thymeleaf,另外加入了nekohtml去掉html严格校验,如果不了解 ...

  7. 转:自旋锁(spinlock)

    自旋锁与互斥锁有点类似,只是自旋锁不会引起调用者睡眠,如果自旋锁已经被别的执行单元保持,调用者就一直循环在那里看是否该自旋锁的保持者已经释放了锁,"自旋"一词就是因此而得名. 由于 ...

  8. 深入理解原型链(Prototype chain) __proto__

    原型链(Prototype chain) 原型对象也是普通的对象,并且也有可能有自己的原型,如果一个原型对象的原型不为null的话,我们就称之为原型链(prototype chain). A prot ...

  9. 【DWM1000】 非官方开源定位代码bitcraze

    蓝点DWM1000 模块已经打样测试完毕,有兴趣的可以申请购买了,更多信息参见 蓝点论坛 正文: 最近关注DWM1000 定位,一方面在看DWM1000 官方提供的代码,也在四处网上找资料看资料. 其 ...

  10. UE4入门(一)软件安装教程

    基本的安装流程:下载并安装EpicInstaller=>登陆EpicLauncher并在UNREAL ENGINE标签中下载并安装引擎=>打开引擎创建新项目并测试 一 .下载并安装Epic ...