python接口自动化(三十八)-python操作mysql数据库(详解)
简介
现在的招聘要求对QA人员的要求越来越高,测试的一些基础知识就不必说了,来说测试知识以外的,会不会一门或者多门开发与语言,能不能读懂代码,会不会Linux,会不会搭建测试系统,会不会常用的数据库,会不会SQL等等,因此我们这篇文章来讲解如何用
python语言操作mysql数据库。
本科阶段曾学过使用java对MySQL数据库进行操作,基本思路是先连接数据库,然后执行SQL语句对数据库进行操作,最后打印结果并断开连接。使用Python操作数据库的流程和以上过程基本一致,在对其进行介绍之前,先介绍一些基本的概念。
基本概念
python操作数据库的流程
以流程图的方式展示python操作MySQL数据库的流程:
对上图的解读:首先检查是否依次创建Connection对象(数据库连接对象)用于打开数据库连接,创建Cursor对象(游标对象)用于执行查询和获取结果;然后执行SQL语句对数据库进行增删改查等操作并提交事务,此过程如果出现异常则使用回滚技术使数据库恢
复到执行SQL语句之前的状态;最后,依次销毁Cursor对象和Connection对象,以避免多计算机内存过多的占用和浪费。
下面依次对Connection对象、Cursor对象和事务等概念进行介绍。
Connection对象
Connection对象即为数据库连接对象,在python中可以使用pymysql.connect()方法创建Connection对象,该方法的常用参数如下:
host:连接的数据库服务器主机名,默认为本地主机(localhost);字符串类型(String) 。
user:用户名,默认为当前用户;字符串类型(String) 。
passwd:密码,无默认值;字符串类 (String)。
db:数据库名称,无默认值;字符串类型(String) 。
port:指定数据库服务器的连接端口,默认为3306;整型(int)。
charset:连接字符集;字符串类型(String)
Connection对象常用的方法如下:
cursor():使用当前连接创建并返回游标 。
commit():提交当前事务 。
rollback():回滚当前事务 。
close():关闭当前连接
Cursor对象
Cursor对象即为游标对象,用于执行查询和获取结果,在python中可以使用conn.cursor()创建,conn为Connection对象。Cursor对象常用的方法和属性如下:
execute():执行数据库查询或命令,将结果从数据库获取到客户端 fetchone():获取结果集的下一行 fetchmany():获取结果集的下几行 fetchall():获取结果集中剩下的所有行 close():关闭当前游标对象 rowcount:最近一次的execute返回数据的行数或受影响的行数
事务
1、事务机制可以确保数据一致性。
事务是数据库理论中一个比较重要的概念,指访问和更新数据库的一个程序执行单元,具有ACID特性:
- 原子性(atomicity)。一个事务是一个不可分割的工作单位,事务中包括的诸操作要么都做,要么都不做。
- 一致性(consistency)。事务必须是使数据库从一个一致性状态变到另一个一致性状态。一致性与原子性是密切相关的。
- 隔离性(isolation)。一个事务的执行不能被其他事务干扰。即一个事务内部的操作及使用的数据对并发的其他事务是隔离的,并发执行的各个事务之间不能互相干扰。
- 持久性(durability)。持续性也称永久性(permanence),指一个事务一旦提交,它对数据库中数据的改变就应该是永久性的。接下来的其他操作或故障不应该对其有任何影响。
在开发时,我们以以下三种方式使用事务:
正常结束事务:conn.commit() 异常结束事务:conn.rollback() 关闭自动commit:设置 conn.autocommit(False)
2 、使用python实现对MySQL数据库的增删改查等操作
在python中操作MySQL数据库时,要使用的模块是:
Python2中:mysqldb(pip2 install mysqldb) Python3中:pymysql(pip3 install pymysql)
本篇博客所使用的环境为:
python 3.7 win 10 pycharm 2018.3.5 pymysql 0.9.2 mysql 5.6
下面将以具体代码的形式依次介绍python中如何实现对MySQL数据库的增删改查等操作。
python操作数据库
Python 标准数据库接口为 Python DB-API,Python DB-API为开发人员提供了数据库应用编程接口。
Python 数据库接口支持非常多的数据库,你可以选择适合你项目的数据库:
- GadFly
- mSQL
- MySQL(小公司、小厂首选)
- PostgreSQL
- Microsoft SQL Server 2008(中型厂、中等公司首选)
- Informix
- Interbase
- Oracle(大厂、大企业首选)
- Sybase
你可以访问Python数据库接口及API查看详细的支持数据库列表。
不同的数据库你需要下载不同的DB API模块,例如你需要访问Oracle数据库和Mysql数据,你需要下载Oracle和MySQL数据库模块。
DB-API 是一个规范. 它定义了一系列必须的对象和数据库存取方式, 以便为各种各样的底层数据库系统和多种多样的数据库接口程序提供一致的访问接口 。
Python的DB-API,为大多数的数据库实现了接口,使用它连接各数据库后,就可以用相同的方式操作各数据库。
Python DB-API使用流程:
- 引入 API 模块。
- 获取与数据库的连接。
- 执行SQL语句和存储过程。
- 关闭数据库连接。
什么是MySQLdb?
PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库,Python2中则使用mysqldb。
PyMySQL 遵循 Python 数据库 API v2.0 规范,并包含了 pure-Python MySQL 客户端库。
如何安装MySQLdb?
在使用 PyMySQL 之前,我们需要确保 PyMySQL 已安装。
PyMySQL 下载地址:https://github.com/PyMySQL/PyMySQL。
如果还未安装,我们可以使用以下命令安装最新版的 PyMySQL:
pip install PyMySQL
如果你的系统不支持 pip 命令,可以使用以下方式安装:
1、使用 git 命令下载安装包安装(你也可以手动下载):
git clone https://github.com/PyMySQL/PyMySQL
cd PyMySQL/
python3 setup.py install
2、如果需要制定版本号,可以使用 curl 命令来安装:
# X.X 为 PyMySQL 的版本号
url -L https://github.com/PyMySQL/PyMySQL/tarball/pymysql-X.X | tar xz
cd PyMySQL*
python3 setup.py install
# 现在你可以删除 PyMySQL* 目录
注意:请确保您有root权限来安装上述模块。
安装的过程中可能会出现"ImportError: No module named setuptools"的错误提示,意思是你没有安装setuptools,你可以访问https://pypi.python.org/pypi/setuptools 找到各个系统的安装方法。
Linux 系统安装实例:
$ wget https://bootstrap.pypa.io/ez_setup.py
$ python3 ez_setup.py
数据库连接
连接数据库前,请先确认以下事项:
- 您已经创建了数据库 TESTDB(测试数据库)
- 在TESTDB数据库中您已经创建了表 EMPLOYEE(测试用的测试表)
- EMPLOYEE表字段为 FIRST_NAME, LAST_NAME, AGE, SEX 和 INCOME。
- 连接数据库TESTDB(测试数据库)使用的用户名为 "testuser" ,密码为 "test123",你可以可以自己设定或者直接使用root用户名及其密码,Mysql数据库用户授权请使用Grant命令。
- 在你的机子上已经安装了 Python MySQLdb 模块。
- 如果你对sql语句不熟悉,可以自己先简单的学习一下
1、查看有没有创建数据库TESTDB(测试数据库),打开MySQL的client界面输入密码 后,输入命令:
show databases;
2、看到没有那个数据库,那我们就开始创建一个TESTDB数据库,输入命令:
create database TESTDB;
3、再次输入第一步的命令查看,看到已经成功创建
4、查看TESTDB数据库里,有没有EMPLOYEE(测试用的测试表),输入命令:
use testdb;
show tables;
5、查看到在TESTDB数据库中没有EMPLOYEE表,那么没有我们就创建一张EMPLOYEE表即可。
创建一个实例
运行结果:(从结果中我们可以看见成功创建了一个Connection和Cursor对象。)
下面将以具体代码的形式依次介绍python中如何实现对MySQL数据库的增删改查等操作。
实例:
1、连接数据库
运行结果:
参考代码:
# coding=utf-
# .先设置编码,utf-8可支持中英文,如上,一般放在第一行 # .注释:包括记录创建时间,创建人,项目名称。
'''
Created on --
@author: 北京-宏哥
Project:学习和使用python操作MySQL数据库
'''
# .导入模块
import pymysql import pymysql # 打开数据库连接
conn = pymysql.connect('localhost', 'root', 'root', 'testdb') # 使用cursor()方法创建一个游标对象
cursor = conn.cursor() # 使用execute()方法执行SQL查询
cursor.execute('SELECT VERSION()') # 使用fetchone()方法获取单条数据
data = cursor.fetchone() # 打印
print('database version: %s' % data) # 关闭数据库连接
conn.close()
2、创建数据库表
如果数据库连接存在我们可以使用execute()方法来为数据库创建表,如下所示创建表EMPLOYEE:
运行代码后查看有没有表创建,输入命令:
use TESTDB;
show tables;
运行结果:
参考代码:
# coding=utf-
# .先设置编码,utf-8可支持中英文,如上,一般放在第一行 # .注释:包括记录创建时间,创建人,项目名称。
'''
Created on --
@author: 北京-宏哥
Project:学习和使用python操作MySQL数据库
'''
# .导入模块
import pymysql import pymysql # 打开数据库连接
conn = pymysql.connect('localhost', 'root', 'root', 'testdb') # 使用cursor()方法创建一个游标对象cursor
cursor = conn.cursor() # 游标对象用于执行查询和获取结果 # 使用execute()方法执行SQL,如果表存在则将其删除
cursor.execute('DROP TABLE IF EXISTS EMPLOYEE') # 使用预处理语句创建表
sql = """CREATE TABLE `employee` (
`first_name` varchar() DEFAULT NULL COMMENT '姓',
`last_name` varchar() DEFAULT NULL COMMENT '名',
`age` int() DEFAULT NULL COMMENT '年龄',
`sex` varchar() DEFAULT NULL COMMENT '性别',
`income` varchar() DEFAULT NULL COMMENT '收入'
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
""" # 执行SQL语句
cursor.execute(sql) # 关闭数据库连接
conn.close()
3、数据库插入操作
以下实例使用执行 SQL INSERT 语句向表 EMPLOYEE 插入记录:
1、首先查询有没有记录输入查询语句:
select * from employee;
2、代码实现
运行结果:
再次查看有没有记录,输入第一步的sql语句:(可以看到插入一条记录)
参考代码:
# coding=utf-
# .先设置编码,utf-8可支持中英文,如上,一般放在第一行 # .注释:包括记录创建时间,创建人,项目名称。
'''
Created on --
@author: 北京-宏哥
Project:学习和使用python操作MySQL数据库
'''
# .导入模块
import pymysql import pymysql # 打开数据库连接
conn = pymysql.connect('localhost', 'root', 'root', 'testdb') # 使用cursor()方法获取操作游标
cursor = conn.cursor() # SQL语句:向数据表中插入数据
sql = """INSERT INTO EMPLOYEE(FIRST_NAME,
LAST_NAME, AGE, SEX, INCOME)
VALUES ('Mac', 'Mohan', , 'M', )""" # 异常处理
try:
# 执行SQL语句
cursor.execute(sql)
# 提交事务到数据库执行
conn.commit() # 事务是访问和更新数据库的一个程序执行单元
except:
# 如果发生错误则执行回滚操作
conn.rollback() # 关闭数据库连接
conn.close()
另一种写法:
# coding=utf-
# .先设置编码,utf-8可支持中英文,如上,一般放在第一行 # .注释:包括记录创建时间,创建人,项目名称。
'''
Created on --
@author: 北京-宏哥
Project:学习和使用python操作MySQL数据库
'''
# .导入模块
import pymysql import pymysql # 打开数据库连接
conn = pymysql.connect('localhost', 'root', 'root', 'testdb') # 使用cursor()方法获取操作游标
cursor = conn.cursor() # SQL语句:向数据表中插入数据
sql = "INSERT INTO EMPLOYEE(FIRST_NAME, \
LAST_NAME, AGE, SEX, INCOME) \
VALUES ('%s', '%s', %s, '%s', %s)" % \
('Mac', 'Mohan', , 'M', )
# 异常处理
try:
# 执行SQL语句
cursor.execute(sql)
# 提交事务到数据库执行
conn.commit() # 事务是访问和更新数据库的一个程序执行单元
except:
# 如果发生错误则执行回滚操作
conn.rollback() # 关闭数据库连接
conn.close()
实例:
以下代码使用变量向SQL语句中传递参数:
..................................
user_id = "root"
password = "root" con.execute('insert into Login values( %s, %s)' % \
(user_id, password))
..................................
3、数据库查询操作
Python查询Mysql使用 fetchone() 方法获取单条数据, 使用fetchall() 方法获取多条数据。
- fetchone(): 该方法获取下一个查询结果集。结果集是一个对象
- fetchall():接收全部的返回结果行.
- rowcount: 这是一个只读属性,并返回执行execute()方法后影响的行数。
实例:
查询EMPLOYEE表中salary(工资)字段大于1000的所有数据:
运行结果:
参考代码:
# coding=utf-
# .先设置编码,utf-8可支持中英文,如上,一般放在第一行 # .注释:包括记录创建时间,创建人,项目名称。
'''
Created on --
@author: 北京-宏哥
Project:学习和使用python操作MySQL数据库
'''
# .导入模块
import pymysql import pymysql # 打开数据库连接
conn = pymysql.connect('localhost', 'root', 'root', 'testdb') # 使用cursor()方法获取操作游标
cursor = conn.cursor() # SQL语句:查询
sql = "SELECT * FROM employee WHERE income > 1000 " # 异常处理
try:
# 执行SQL语句
cursor.execute(sql)
# 获取所有的记录列表
results = cursor.fetchall()
# 遍历列表
for row in results:
# 打印列表元素
print(row)
# 姓
first_name = row[]
# 名
last_name = row[]
# 年龄
age = row[]
# 性别
sex = row[]
# 收入
income = row[]
# 打印列表元素
print(first_name, last_name, age, sex, income)
except:
print('Uable to fetch data!') # 关闭数据库连接
conn.close()
4、数据库更新操作
更新操作用于更新数据表的的数据,以下实例将 EMPLOYEE 表中的 SEX 字段为 'M' 的 AGE 字段递增 5:
1、以前age是20,
2、代码实现:
3、运行结果:
4、查询age变更到25了没有
5、参考代码:
# coding=utf-
# .先设置编码,utf-8可支持中英文,如上,一般放在第一行 # .注释:包括记录创建时间,创建人,项目名称。
'''
Created on --
@author: 北京-宏哥
Project:学习和使用python操作MySQL数据库
'''
# .导入模块
import pymysql import pymysql # 打开数据库连接
conn = pymysql.connect('localhost', 'root', 'root', 'testdb') # 使用cursor()方法获取操作游标
cursor = conn.cursor() # SQL语句,执行更新操作
sql = 'UPDATE employee SET age = age + 5 WHERE sex = "M"' # 异常处理
try:
# 执行SQL语句
cursor.execute(sql)
# 提交到数据库执行
conn.commit()
except:
# 发生错误时回滚
conn.rollback() # 关闭数据库连接
conn.close()
5、删除操作
删除操作用于删除数据表中的数据,以下实例演示了删除数据表 EMPLOYEE 中 AGE 大于 20 的所有数据:
1、大于20的只有一条,删除了就没有记录了,输入
select * from employee;
2、代码实现
3、运行结果
4、查看数据库表,重复第一步
5、参考代码
# coding=utf-
# .先设置编码,utf-8可支持中英文,如上,一般放在第一行 # .注释:包括记录创建时间,创建人,项目名称。
'''
Created on --
@author: 北京-宏哥
Project:学习和使用python操作MySQL数据库
'''
# .导入模块
import pymysql import pymysql # 打开数据库连接
conn = pymysql.connect('localhost', 'root', 'root', 'testdb') # 使用cursor()方法获取操作游标
cursor = conn.cursor() # SQL语句,执行删除操作
sql = 'DELETE FROM employee WHERE age >20' # 异常处理
try:
# 执行SQL语句
cursor.execute(sql)
# 提交到数据库执行
conn.commit()
except:
# 发生错误时回滚
conn.rollback() # 关闭数据库连接
conn.close()
执行事务
事务机制可以确保数据一致性。
事务应该具有4个属性:原子性、一致性、隔离性、持久性。这四个属性通常称为ACID特性。
- 原子性(atomicity)。一个事务是一个不可分割的工作单位,事务中包括的诸操作要么都做,要么都不做。
- 一致性(consistency)。事务必须是使数据库从一个一致性状态变到另一个一致性状态。一致性与原子性是密切相关的。
- 隔离性(isolation)。一个事务的执行不能被其他事务干扰。即一个事务内部的操作及使用的数据对并发的其他事务是隔离的,并发执行的各个事务之间不能互相干扰。
- 持久性(durability)。持续性也称永久性(permanence),指一个事务一旦提交,它对数据库中数据的改变就应该是永久性的。接下来的其他操作或故障不应该对其有任何影响。
Python DB API 2.0 的事务提供了两个方法 commit 或 rollback。
实例:
# SQL删除记录语句
sql = "DELETE FROM EMPLOYEE WHERE AGE > %s" % ()
try:
# 执行SQL语句
cursor.execute(sql)
# 向数据库提交
db.commit()
except:
# 发生错误时回滚
db.rollback()
对于支持事务的数据库, 在Python数据库编程中,当游标建立之时,就自动开始了一个隐形的数据库事务。
commit()方法游标的所有更新操作,rollback()方法回滚当前游标的所有操作。每一个方法都开始了一个新的事务。
错误处理
DB API中定义了一些数据库操作的错误及异常,下表列出了这些错误和异常:
异常 | 描述 |
---|---|
Warning | 当有严重警告时触发,例如插入数据是被截断等等。必须是 StandardError 的子类。 |
Error | 警告以外所有其他错误类。必须是 StandardError 的子类。 |
InterfaceError | 当有数据库接口模块本身的错误(而不是数据库的错误)发生时触发。 必须是Error的子类。 |
DatabaseError | 和数据库有关的错误发生时触发。 必须是Error的子类。 |
DataError | 当有数据处理时的错误发生时触发,例如:除零错误,数据超范围等等。 必须是DatabaseError的子类。 |
OperationalError | 指非用户控制的,而是操作数据库时发生的错误。例如:连接意外断开、 数据库名未找到、事务处理失败、内存分配错误等等操作数据库是发生的错误。 必须是DatabaseError的子类。 |
IntegrityError | 完整性相关的错误,例如外键检查失败等。必须是DatabaseError子类。 |
InternalError | 数据库的内部错误,例如游标(cursor)失效了、事务同步失败等等。 必须是DatabaseError子类。 |
ProgrammingError | 程序错误,例如数据表(table)没找到或已存在、SQL语句语法错误、 参数数量错误等等。必须是DatabaseError的子类。 |
NotSupportedError | 不支持错误,指使用了数据库不支持的函数或API等。例如在连接对象上 使用.rollback()函数,然而数据库并不支持事务或者事务已关闭。 必须是DatabaseError的子类。 |
小结
哈哈,终于搞完了、整完了,累死宝宝了,已到半夜,明天有时间分享!!!
小伙伴python操作MySQL数据库就是这么简单!!!最重要的自己要会、要有扎实的SQL基础。
python接口自动化(三十八)-python操作mysql数据库(详解)的更多相关文章
- python接口自动化(四)--接口测试工具介绍(详解)
简介 “工欲善其事必先利其器”,通过前边几篇文章的介绍,大家大致对接口有了进一步的认识.那么接下来让我们看看接口测试的工具有哪些. 目前,市场上有很多支持接口测试的工具.利用工具进行接口测试,能够提供 ...
- Jmeter操作MySQL数据库详解
一.jmeter操作数据库的原理 jmeter不可直接操作数据库,必须通过驱动程序来间接操作,但如果数据库不是在本地而是云服务器上的话就需要通过网络来操作. jmeter通过驱动程序来完成对MySQL ...
- 原生jdbc操作mysql数据库详解
首先给大家说一下使用JDBC链接数据库的步骤 1.加载链接数据库驱动 2.建立数据库链接 3.创建数据库操作对象 4.编写sql语句,执行sql语句 5.获取结果集 6.释放资源 我这边采用的是mav ...
- python接口自动化(十八)--重定向(Location)(详解)
简介 在实际工作中,有些接口请求完以后会重定向到别的url,而你却需要重定向前的url.URL主要是针对虚拟空间而言,因为不是自己独立管理的服务器,所以无法正常进行常规的操作.但是自己又不希望通过主域 ...
- python接口自动化(二十一)--unittest简介(详解)
简介 前边的随笔主要介绍的requests模块的有关知识个内容,接下来看一下python的单元测试框架unittest.熟悉 或者了解java 的小伙伴应该都清楚常见的单元测试框架 Junit 和 T ...
- CMD命令操作MySql数据库详解
第一:mysql服务的启动和停止 1. net stop mysql 2. net start mysql 第二:登录 mysql –u用户名 [–h主机名或者IP地址] –p密码 例如:mysq ...
- Android为TV端助力 转载:Android绘图Canvas十八般武器之Shader详解及实战篇(上)
前言 Android中绘图离不开的就是Canvas了,Canvas是一个庞大的知识体系,有Java层的,也有jni层深入到Framework.Canvas有许多的知识内容,构建了一个武器库一般,所谓十 ...
- Android为TV端助力 转载:Android绘图Canvas十八般武器之Shader详解及实战篇(下)
LinearGradient 线性渐变渲染器 LinearGradient中文翻译过来就是线性渐变的意思.线性渐变通俗来讲就是给起点设置一个颜色值如#faf84d,终点设置一个颜色值如#CC423C, ...
- python接口自动化(十)--post请求四种传送正文方式(详解)
简介 post请求我在python接口自动化(八)--发送post请求的接口(详解)已经讲过一部分了,主要是发送一些较长的数据,还有就是数据比较安全等.我们要知道post请求四种传送正文方式首先需要先 ...
- python接口自动化(十九)--Json 数据处理---实战(详解)
简介 上一篇说了关于json数据处理,是为了断言方便,这篇就带各位小伙伴实战一下.首先捋一下思路,然后根据思路一步一步的去实现和实战,不要一开始就盲目的动手和无头苍蝇一样到处乱撞,撞得头破血流后而放弃 ...
随机推荐
- CentOS下常用的 19 条命令
玩过Linux的人都会知道,Linux中的命令的确是非常多,但是玩过Linux的人也从来不会因为Linux的命令如此之多而烦恼,因为我们只需要掌握我们最常用的命令就可以了.当然你也可以在使用时去找一下 ...
- ZT:150条毒鸡汤
1.照照镜子吧,还要什么段子? 2.多年过去,再回忆高考,其实本质上没有考到好与坏的说法,重要的是年轻人在一起,做份试题,然后决定去哪座城市做代购. 3.真正努力过的人,就会明白天赋的重要性. 4.转 ...
- C/C++知识要点2——STL中Vector、Map、Set容器的实现原理
1.Vector是顺序容器.是一个动态数组.支持随机存取.插入.删除.查找等操作,在内存中是一块连续的空间.在原有空间不够情况下自己主动分配空间.添加为原来的两倍.vector随机存取效率高,可是在v ...
- UFLDL教程(一)---稀疏自编码器
神经网络模型 简单的神经网络 前向传播 代价函数 对于单个例子 .其代价函数为: 给定一个包括m个例子的数据集,我们能够定义总体代价函数为: 以上公式中的第一项 是一个均方差项. 第二项是一个规则化 ...
- background-size使用参考指南
语法:background-size :[ <length> | <percentage> | auto ]{1,2} | cover | contain相关属性: backg ...
- JS判断访问设备(userAgent)加载不同页面 JS判断客户端操作系统类型(platform)
//平台.设备和操作系统 var system ={ win : false, mac : false, xll : false }; //检测平台 var p = navigator.platfor ...
- Python - scrapy安装中libxml2问题
先到 http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 下载下面三个库的 whl,然后用pip install 来安装即可 pycurl,lxml,lib ...
- FIR300M刷openwrt
淘宝看到一款FIR300M路由器,当时只要19.9元.图便宜就买了. Hardware Architecture: MIPS Vendor: MediaTek (Ralink) Bootloader: ...
- Spark 学习笔记:(三)Spark SQL
参考:https://spark.apache.org/docs/latest/sql-programming-guide.html#overview http://www.csdn.net/arti ...
- Eclipse中的Web项目自己主动部署到Tomcat
一.原因. 1.写java程序有一段时间了,但非常久没用eclipse了.所以使用eclipse编写的web项目部署到tomcat 的方式也不是非常清楚,以下记录一下将Eclipse 上的web项目自 ...