python操作sqlite3的几项问题分析

不同数据库还是有各自特点的，之前自以为熟悉mysql，然后全都照搬到sqlite3上，这样果然是不行的。笔者就近期在使用sqlite3时碰到的问题做了总结分析，并给出相应解决方法，供大家参考。

1、如何insert一条记录？

示例如下，其中sql语句中的%d、’%s’均为占位符，注意字符串占位符需要加引号，在执行时会被%(…)中的mid、mname等变量替换。

import sqlite3
conn = sqlite3.connect("movie.db")
msql = "insert into movieinfo(mid,mname, myear, mgenre, mruntime, rank, mrating, link) values(%d, '%s', %d, '%s','%s', '%s', %f, '%s')"%(mid, mname, myear, mgenre, mruntime, rank,mrating, link)
conn.execute(msql)

2、如何清空数据表？

示例如下。sql标准中有TRUNCATE TABLE语句，用来清空表的所有内容；对于大多数DBMS来说，用DELETE不如用TRUNCATE速度快，但sqlite3不支持该语句。在sqlite3中直接使用“DELETE FROM TableName”就行，而且它对DELETE做了优化，速度比普通的逐条DELETE要快得多。

dsql = "delete from movieinfo"
conn.execute(dsql)

3、如果待insert的变量中有单引号？

如果变量中有单引号，例如待插入的字符串变量mname值为movie’s name，变量中的单引号会和占位符’%s’外的引号产生闭合，从而导致插入错误。而且这样的单引号如果被黑客利用，可能导致程序被sql注入的安全问题。

最好的解决方案，是遵循官方建议，不用诸如%d和’%s’的占位符，而统一用?作为占位符，这样sqlite3会根据情况自动处理字符串中的各种特殊字符；不仅可以避免插入错误，也可以有效防止程序被入侵。示例如下，注意%要用,替换：

msql = "insert into movieinfo(mid,mname, myear, mgenre, mruntime, rank, mrating, link) values(?, ?, ?, ?, ?, ?, ?,?)", (mid, mname, myear, mgenre, mruntime, rank, mrating, link)
conn.execute(msql)

4、如果待insert的变量中有Unicode字符？

如果变量中有unicode字符，例如待插入的字符串变量mname值为u'\u4e2d\u6587'；此时如采用问题3中的sql语句，也依然会出现无法成功插入的问题。此时，可以使用带参数的sql语句处理，示例如下：

msql = "insert into movieinfo(mid,mname, myear, mgenre, mruntime, rank, mrating, link) values(?, ?, ?, ?, ?, ?, ?,?)"
parameter = [mid, mname, myear, mgenre,mruntime, rank, mrating, link]
conn.execute(msql, parameter)
 

5、如果待insert的变量中存在主键重复问题？

当原始数据中存在主键重复（例如：id）的记录，我们又想将所有记录插入到数据库中，可以使用insert or replace语句。这样，id重复的记录只保留最后一项（即先插入的记录被后插入的记录替换），示例如下：

msql = "insert or replace intomovieinfo(mid, mname, myear, mgenre, mruntime, rank, mrating, link) values(?, ?,?, ?, ?, ?, ?, ?)"
parameter = [mid, mname, myear, mgenre,mruntime, rank, mrating, link]
conn.execute(msql, parameter)

6、如果想一次insert多条记录？

虽然无法使用预先准备的多条sql语句进行批量insert操作，但sqlite3依然提供同时插入多条记录的工具executemany()。示例如下，注意execute()语句已经更换为executemany()：

msql = "insert or replace intomovieinfo(mid, mname, myear, mgenre, mruntime, rank, mrating, link) values(?, ?,?, ?, ?, ?, ?, ?)"
parameters = [(mid1, mname1, myear1, mgenre1,mruntime1, rank1, mrating1, link1), (mid2, mname2, myear2, mgenre2, mruntime2,rank2, mrating2, link2)]
conn.executemany(msql, parameters)

7、如果出现”database islocked”问题？

相信会有不少人碰到OperationalError: database is locked问题，网上最常见的解释是sqlite3不支持多线程操作，如果多个进程同时操作同一个数据库会导致数据库锁死。此时，如果问题重复出现，可能需要考虑换数据库。

但是另一种可能性其实是，在一些操作没有结束时，就进行了下一步的操作（可以通过检查文件下是否有一个*.db-journal文件来确认，正常是没有此文件的）。例如现在执行conn.execute("delete from movieinfo")，文件夹下会产生一个movieinfo.db-journal文件，表明该会话没有处理完成；此时如果对数据库做其它操作，则会抛出“OperationalError: database is locked”异常。

如果在执行完清空数据表操作后，立即提交conn.commit()，则.db-journal文件消失，表明所有会话已经完成；此时再进行其它操作，就不会有问题了。