Python学习笔记-SQLSERVER的大批量导入以及日常操作(比executemany快3倍)
环境 : python3.6 / win10 / vs2017 / sqlserver2017
一、需要安装的包pymssql
pip install pymssql
二、pymssql模块的介绍
pymssql 包 有modules:
所以我更加推荐使用_mssql,而不是网上案列里比较多的pymssql
三、对_mssql模块的封装
1、简单的执行
class C_SQLServer(object):
def __init__(self, Server,user,password,database):
self.Server=Server
self.user=user
self.password=password
self.database=database
#执行无返回操作,适用与(insert,update,delete)
def execute_non_query(self,SQLStr):
conn = _mssql.connect(server=self.Server, user=self.user, password=self.password, database=self.database,charset='utf8')
conn.execute_non_query(SQLStr)
#执行返回迭代器的操作,迭代器中的行以字典方式展示,适用于(select)
def execute_query(self,SQLStr):
conn = _mssql.connect(server=self.Server, user=self.user, password=self.password, database=self.database,charset='utf8')
conn.execute_query(SQLStr)
return conn
#执行返回单行的字典
def execute_row(self,SQLStr):
conn = _mssql.connect(server=self.Server, user=self.user, password=self.password, database=self.database,charset='utf8')
row=conn.execute_row(SQLStr)
return row
#执行返回单值的操作,适用于返回行计数等
def execute_scalar(self,SQLStr):
conn = _mssql.connect(server=self.Server, user=self.user, password=self.password, database=self.database,charset='utf8')
scalar=conn.execute_scalar(SQLStr)
return scalar
#获取标题,以及标题类型字典
def MSSQL_GetTitleDict(self,conn):
titleDict={}
for rows in conn.get_header():
titleDict[rows[0]]=rows[1]
#如果调用conn完成后千万记得,要吧连接关闭。
conn.close()
return titleDict
四、对于大批量Insert的操作
pymssql的模块提供了executemany来执行大批量的导入。
导入列表里的元素行为Tuple,类似 DataList=[(1,2),(2,3)]
cursor.executemany(
"INSERT INTO persons VALUES (%d, %s, %s)",
[(1, 'John Smith', 'John Doe'),
(2, 'Jane Doe', 'Joe Dog'),
(3, 'Mike T.', 'Sarah H.')])
# you must call commit() to persist your data if you don't set autocommit to True
conn.commit()
_mssql模块没有提供批量导入的功能。
但是我们可以用拼接字符串 Insert ————Select————UNION ALL————SELECT 去实现。
测经过测试,同样插入10W的数据,_mssql模块写拼接比pymssql的executemany快了近3倍多。
代码如下:
def GetTableTitle(self,tableName):
SQLStr=f"select * from {tableName}"
conn=self.execute_query(f"select * from {tableName}")
titleDict=self.MSSQL_GetTitleDict(conn)
return titleDict
#拼接字符串 Insert ————Select————UNION ALL————SELECT类型插入
def InsertByRow(self,tableName,TitleList,DataList):
#获取列头的字典包含列名以及数据类型
titleDict=self.GetTableTitle(tableName)
#定义Insert语句的头部
insertTitleStr=f"Insert into {tableName} (" + ','.join(TitleList)+")\n"
#批导入变量,执行行号
i=0
#按行执行
for row_dict in DataList:
insertRowStrList=[]
#循环列
for columnName in TitleList:
columnType=titleDict[columnName]
if columnType in [1,4]:
isChar=1
else:
isChar=0
columValue= row_dict[columnName]
#SqlParameter_AddQuotes函数用以增给值增加单引号
columValue=SqlParameter_AddQuotes(isChar,columValue)
queryStr=columnName+"="+columValue
insertRowStrList.append(queryStr)
#行的SelectStr
insertRowStr=','.join(insertRowStrList)
if i==0:
insertStr="Select "+insertRowStr
else:
insertStr+="\n union all \nSelect "+insertRowStr
i+=1
#定义批量插入的大小,这里是300行为一批Insert
if i%300==0:
self.execute_non_query(insertTitleStr+'\n'+insertStr)
i=0
#剩余数据Insert
self.execute_non_query(insertTitleStr+'\n'+insertStr)
性能刚刚的!日常的操作基本也就都封装好了!
但是记得打开conn后,千万必须要关闭该连接。
Python学习笔记-SQLSERVER的大批量导入以及日常操作(比executemany快3倍)的更多相关文章
- Python学习笔记(15)- os\os.path 操作文件
程序1 编写一个程序,统计当前目录下每个文件类型的文件数,程序实现如图: import os def countfile(path): dict1 = {} # 定义一个字典 all_files = ...
- Python学习笔记(三)字符串类型及其操作(2)
1.字符串的表示 字符串是字符的序列表示,可以由一对单引号(‘).双引号(“)或三引号(’‘’)构成.其中,单引号.双引号和三引号都可以表示单行字符串,但是只有三引号可以表示多行字符串 在使用双引号时 ...
- 吴裕雄--天生自然python学习笔记:pandas模块导入数据
有时候,手工生成 Pandas 的 DataFrame 数据是件非常麻烦的事情,所以我们通 常会先把数据保存在 Excel 或数据库中,然后再把数据导入 Pandas . 另 一种情况是抓 取网页中成 ...
- Python学习笔记 (3) :列表、元组的操作
列表,即写在方括号之间.用逗号分隔开的数值列表.列表内的项目不必全是相同的类型. >>> a = ['spam', 'eggs', 100, 1234] >>> a ...
- Python学习笔记:第3天 字符串的操作
目录 1. python的数据类型 2. int类型的操作 3. bool类型 4. 字符串的操作 5. for循环 1. python的数据类型 int 整数 str 字符串.一般不会用字符串保存大 ...
- python学习笔记3---浅拷贝和深拷贝,file操作
import copy a=[1,2,3,['a','b']] b=a c= copy.copy(a)---浅拷贝 d=copy.deepcopy(a)---深拷贝 file操作: python 文件 ...
- python学习笔记(mysqldb下载安装及简单操作)
python支持对mysql的操作 已经安装配置成功python.mysql 之后根据各自电脑配置选择对应系统的MySQL-python 文件是EXE格式.打开下一步即可 下载地址博主分享下: htt ...
- python学习笔记(四)字符串及字符串操作
字符串 字符串可以存任意类型的字符串,比如名字,一句话等等. 字符串还有很多内置方法,对字符串进行操作,常用的方法如下: name1='hello world' print(name.capitali ...
- python学习笔记之module && package
个人总结: import module,module就是文件名,导入那个python文件 import package,package就是一个文件夹,导入的文件夹下有一个__init__.py的文件, ...
随机推荐
- mybatis 一对多查询
需求:一条数据对应多张表 ad_share_friends 主表 ad_share_image 图片表 建立实体 adShareFriends 和 adShareImage *注意在adShar ...
- 前端之DOM操作
一.概念 javascript javascript是一种脚本语言,可以被浏览器解析,所以它可以称之为前端的三把利器之一. javascript跟java没有半毛钱关系. 声明局部变量:使用关键字va ...
- 《AutoCAD Civil 3D .NET二次开发》勘误1
第十三章atc文件中Displayname应为DisplayName,注意Name的N为大写,否则参数名称无法正常显示. 给您带来的不便深表歉意!
- Codeforces Round #522 (Div. 2, based on Technocup 2019 Elimination Round 3) D. Barcelonian Distance 几何代数(简单)
题意:给出一条直线 ax +by+c=0 给出两个整点 (x1,y1) (x2,y2) 只有在x,y坐标至少有一个整点的时 以及 给出的直线才有路径(也就是格子坐标图的线上) 问 两个整点所需要 ...
- java线程池与五种常用线程池策略使用与解析
背景:面试中会要求对5中线程池作分析.所以要熟知线程池的运行细节,如CachedThreadPool会引发oom吗? java线程池与五种常用线程池策略使用与解析 可选择的阻塞队列BlockingQu ...
- SQL SERVER 查询所有数据表名称和数据行数
SELECT a.name, b.rows FROM sysobjects AS a INNER JOIN sysindexes AS b ON a.id = b.id WHERE ( a.type ...
- matplotlib的读书笔记
matplotlib绘图总结 本文作为学习过程中对matplotlib一些常用知识点的整理,方便查找. 类MATLAB API 最简单的入门是从类 MATLAB API 开始,它被设计成兼容 MA ...
- 使用Zabbix监控mysql的主从同步
Zabbix 监控触发器设置 简述 在生产环境中,有一台mysql的备份服务器,上面运行着三个数据库实例的从库,也在做日志的同步工作,为了实现对该备份服务器的监控,当出现从库实例不为3或者日志同步进程 ...
- redis实现分页
redis实现分页功能,主要是将数据缓存起来,无需频繁查询数据库,减少数据库的压力. 适用场景:单用户操作列表界面分页,如博客列表. 缺点:不可模糊查询,缺少灵活性. 封装类: class XgRed ...
- POJ1179Polygon(区间dp)
啊~~ 被dp摁在地上摩擦的人 今天做了一道区间dp的题(POJ1179Polygon) 题目: Polygon Time Limit: 1000MS Memory Limit: 10000K T ...