使用Python插入100万条数据到MySQL数据库并将数据逐步写出到多个Excel
Python插入100万条数据到MySQL数据库
步骤一:导入所需模块和库
首先,我们需要导入 MySQL 连接器模块和 Faker 模块。MySQL 连接器模块用于连接到 MySQL 数据库,而 Faker 模块用于生成虚假数据。
import mysql.connector # 导入 MySQL 连接器模块
from faker import Faker # 导入 Faker 模块,用于生成虚假数据
步骤二:创建 Faker 实例
然后,我们创建一个 Faker 实例,以便使用其功能生成虚假数据。
faker = Faker() # 创建 Faker 实例
步骤三:连接到 MySQL 数据库
接下来,我们使用 MySQL 连接器模块连接到 MySQL 数据库。需要提供主机地址、用户名、密码和数据库名称。
conn = mysql.connector.connect(
host='localhost', # 数据库主机地址
user='root', # 数据库用户名
password='123456', # 数据库密码
database='test2' # 数据库名称
)
步骤四:创建游标对象
然后,我们创建一个游标对象,用于执行 SQL 语句。
cursor = conn.cursor() # 创建游标对象,用于执行 SQL 语句
步骤五:插入虚假数据
现在,我们准备开始插入虚假数据到数据库中。我们使用循环生成多条数据,并将其插入到数据库表中。
for _ in range(1000000): # 循环100万次,插入100万条数据
# 使用 Faker 实例生成虚假数据
name = faker.name() # 姓名
address = faker.address() # 地址
email = faker.email() # 电子邮件
phone_number = faker.phone_number() # 电话号码
job_title = faker.job() # 职位
company = faker.company() # 公司
date_of_birth = faker.date_of_birth() # 出生日期
credit_card_number = faker.credit_card_number() # 信用卡号 # 定义 SQL 插入语句
sql = "INSERT INTO fake_data (name, address, email, phone_number, job_title, company, date_of_birth, credit_card_number) VALUES (%s, %s, %s, %s, %s, %s, %s, %s)" # 设置参数值
val = (name, address, email, phone_number, job_title, company, date_of_birth, credit_card_number) # 执行 SQL 插入语句
cursor.execute(sql, val)
步骤六:提交事务和关闭连接
最后,我们提交事务以保存更改,并关闭游标和数据库连接。
conn.commit() # 提交事务,保存更改
cursor.close() # 关闭游标
conn.close() # 关闭数据库连接
使用 Python 将 MySQL 数据库中的数据逐步查询并写入多个 Excel 文件
步骤一:导入所需模块和库
首先,我们需要导入 os 模块用于文件和目录操作,pandas 库用于数据处理,以及 mysql.connector 模块用于连接 MySQL 数据库。
import os # 导入 os 模块,用于文件和目录操作
import pandas as pd # 导入 pandas 库并使用 pd 别名,用于数据处理
import mysql.connector # 导入 mysql.connector 模块,用于连接 MySQL 数据库
步骤二:连接到 MySQL 数据库
conn = mysql.connector.connect(
host='localhost', # 数据库主机地址
user='root', # 数据库用户名
password='123456', # 数据库密码
database='test2' # 数据库名称
)
步骤三:设置每个 Excel 文件的行数限制和输出文件夹
chunk_size = 50000 # 每个 Excel 文件的行数限制
output_folder = "output_data" # 输出文件夹名称
if not os.path.exists(output_folder): # 如果文件夹不存在,则创建
os.makedirs(output_folder)
步骤四:逐步查询数据库并写入 Excel 文件
offset = 0 # 查询偏移量初始值为0
while True: # 使用循环查询数据库,直到数据查询完毕
query = f"SELECT * FROM fake_data LIMIT {offset}, {chunk_size}" # 构造 SQL 查询语句
df = pd.read_sql(query, conn) # 使用 pandas 读取 SQL 查询结果为 DataFrame
if df.empty: # 如果查询结果为空,则退出循环
break
output_file = os.path.join(output_folder, f"output_{offset // chunk_size + 1}.xlsx") # 构造输出文件路径
df.to_excel(output_file, index=False) # 将 DataFrame 写入 Excel 文件,不写入索引列
offset += chunk_size # 更新查询偏移量,准备下一次查询
步骤五:关闭数据库连接
conn.close() # 关闭数据库连接
最后,我们关闭数据库连接,释放资源。
使用Python插入100万条数据到MySQL数据库并将数据逐步写出到多个Excel的更多相关文章
- 教你如何6秒钟往MySQL插入100万条数据!然后删库跑路!
教你如何6秒钟往MySQL插入100万条数据!然后删库跑路! 由于我用的mysql 8版本,所以增加了Timezone,然后就可以了 前提是要自己建好库和表. 数据库test, 表user, 三个字段 ...
- PHP实现插入100万条数据优化
第一种方法一条一条执行插入,结果会很慢 <?php header("Content-Type:text/html;charset=utf-8"); date_default_ ...
- Oracle中插入100万条数据
在做项目的工程中,需要数据库中存在大量的数据进行程序的验证,但是我们又没有数据,这时就需要我们自己手动建一个表,插入大量数据,进行验证. 那么插入大量数据的sql语句如下: insert into E ...
- Mysql如何快速插入100万条记录?
1.java程序拼接insert带多个value,使一次提交多个值. 2.插入数据之前先删除索引(注意主键不能删除),然后插入数据,最后重建索引 3.可以设置手动commit,用来提高效率 4.使用批 ...
- 绝对干货,教你4分钟插入1000万条数据到mysql数据库表,快快进来
我用到的数据库为,mysql数据库5.7版本的 1.首先自己准备好数据库表 其实我在插入1000万条数据的时候遇到了一些问题,现在先来解决他们,一开始我插入100万条数据时候报错,控制台的信息如下: ...
- Qt中提高sqlite的读写速度(使用事务一次性写入100万条数据)
SQLite数据库本质上来讲就是一个磁盘上的文件,所以一切的数据库操作其实都会转化为对文件的操作,而频繁的文件操作将会是一个很好时的过程,会极大地影响数据库存取的速度.例如:向数据库中插入100万条数 ...
- 插入1000万条数据到mysql数据库表
转自:https://www.cnblogs.com/fanwencong/p/5765136.html 我用到的数据库为,mysql数据库5.7版本的 1.首先自己准备好数据库表 其实我在插入100 ...
- 极限挑战—C#+ODP 100万条数据导入Oracle数据库仅用不到1秒
链接地址:http://www.cnblogs.com/armyfai/p/4646213.html 要:在这里我们将看到的是C#中利用ODP实现在Oracle数据库中瞬间导入百万级数据,这对快速批量 ...
- 极限挑战—C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码)
原文:极限挑战-C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码) 实际工作中有时候需要把大量数据导入数据库,然后用于各种程序计算,本实验将使用5中方法完成这个过程,并详细记录各种方 ...
- 使用hibernate在5秒内插入11万条数据,你觉得可能吗?
需求是这样的,需要查询某几个表的数据,然后插入到另外一个表. 一看到需求,很多人都会用hibernate去把这些数据都查询出来,然后放到list中, 然后再用for循环之类的进行遍历,一条一条的取出数 ...
随机推荐
- 项目实战:Qt监测操作系统物理网卡通断v1.1.0(支持windows、linux、国产麒麟系统)
需求 使用Qt软件开发一个检测网卡的功能. 兼容windows.linux,国产麒麟系统(同为linux) Demo windows上运行: 国产麒麟操作上运行: 功 ...
- Mqtt开发笔记:Mqtt服务器搭建
若该文为原创文章,未经允许不得转载原博主博客地址:https://blog.csdn.net/qq21497936原博主博客导航:https://blog.csdn.net/qq21497936/ar ...
- __init_subclass__特殊方法
__init_subclass__ 是 Python 3.6 引入的一个特殊方法,用于在子类被定义时执行一些操作. 这个方法允许你在父类中定义一个类方法,当子类继承父类时会自动调用这个方法,你可以在其 ...
- zookeeper运行时dos窗口一闪而过
错误:从官网下载zookeeper解压到本地之后,鼠标双击运行zkServer.cmd文件,dos窗口一闪而过,看不到错误原因: 解决方法:通过dos窗口执行zkServer.cmd文件,对应的错误信 ...
- 【LeetCode二叉树#20】二叉搜索树转换为累加树,巩固二叉树的遍历(特殊的中序遍历)
将二叉搜索树转换为累加树 力扣题目链接(opens new window) 给出二叉 搜索 树的根节点,该树的节点值各不相同,请你将其转换为累加树(Greater Sum Tree),使每个节点 no ...
- Long和int比较用==还是用equals
应该用==,因为equels会先比较类型,这样值一样的不同类型的数字就直接返回false啦.看源码吧. public boolean equals(Object obj) { System.out.p ...
- 【Azure Redis 缓存】Azure Cache for Redis有默认备份可以用于恢复么?
问题描述 Azure Cache for Redis有默认备份可以用于恢复么? 答: 只有高级版Redis有. 问题原因 Azure Cache for Redis有不同的版本定价层(基本 Basic ...
- 【Azure 存储服务】Azure Blob上传大文件(600MB)出现内存溢出情况(Java SDK)
问题描述 Java 云端开发,调用 blob 上传会产生内存溢出,Java上调用的方式如下: InputStream inputStream = new BufferedInputStream(new ...
- python中json.dumps() 与json.dump(),json.load()与json.loads()区别?
json.dumps() 将 Python 对象转换为 JSON 字符串,并返回该字符串.而 json.dump() 将 Python 对象转换为 JSON 字符串,并将该字符串写入文件. json. ...
- Java 手动抛异常
1 package com.bytezero.throwable; 2 3 import java.io.File; 4 import java.io.FileInputStream; 5 impor ...