使用python将excel数据导入数据库

  • 因为需要对数据处理，将excel数据导入到数据库，记录一下过程。
  • 使用到的库：xlrd 和 pymysql （如果需要写到excel可以使用xlwt）
  • 直接丢代码，使用python3，注释比较清楚。
  • 1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    import xlrd
    import pymysql
    # import importlib
    # importlib.reload(sys) #出现呢reload错误使用
     
     
    def open_excel():
        try:
            book = xlrd.open_workbook("XX.xlsx")  #文件名，把文件与py文件放在同一目录下
        except:
            print("open excel file failed!")
        try:
            sheet = book.sheet_by_name("sheet名称")   #execl里面的worksheet1
            return sheet
        except:
            print("locate worksheet in excel failed!")
     
     
    #连接数据库
    try:
        db = pymysql.connect(host="127.0.0.1",user="root",
            passwd="XXX",
            db="XXX",
            charset='utf8')
    except:
        print("could not connect to mysql server")
     
    def search_count():
        cursor = db.cursor()
        select = "select count(id) from XXXX" #获取表中xxxxx记录数
        cursor.execute(select) #执行sql语句
        line_count = cursor.fetchone()
        print(line_count[0])
     
     
    def insert_deta():
        sheet = open_excel()
        cursor = db.cursor()
        for i in range(1, sheet.nrows): #第一行是标题名，对应表中的字段名所以应该从第二行开始，计算机以0开始计数，所以值是1
     
            name = sheet.cell(i,0).value #取第i行第0列
            data = sheet.cell(i,1).value#取第i行第1列，下面依次类推
            print(name)
            print(data)
            value = (name,data)
            print(value)
            sql = "INSERT INTO XXX(name,data)VALUES(%s,%s)"
            cursor.execute(sql,value) #执行sql语句
            db.commit()
        cursor.close() #关闭连接
     
     
     
    insert_deta()
     
    db.close()#关闭数据
    print ("ok ")

    　　XXX里自行修改自己的名称。

  • 说明：对于不规则的单元格，例如合并过的单元格会取到空值。
  • 有机会把数据库写到excel贴上来。
  • 优化了一下这个程序
  • 1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    import pymysql
    import xlrd
     
     
    # 连接数据库
    try:
        db = pymysql.connect(host="127.0.0.1", user="root",
                             passwd="XXX",
                             db="XXX",
                             charset='utf8')
    except:
        print("could not connect to mysql server")
     
     
    def open_excel():
        try:
            book = xlrd.open_workbook("XXX.xlsx")  #文件名，把文件与py文件放在同一目录下
        except:
            print("open excel file failed!")
        try:
            sheet = book.sheet_by_name("XXX")   #execl里面的worksheet1
            return sheet
        except:
            print("locate worksheet in excel failed!")
     
     
    def insert_deta():
        sheet = open_excel()
        cursor = db.cursor()
        row_num = sheet.nrows
        for i in range(1, row_num):  # 第一行是标题名，对应表中的字段名所以应该从第二行开始，计算机以0开始计数，所以值是1
            row_data = sheet.row_values(i)
            value = (row_data[0],row_data[1],row_data[2],row_data[3])
            print(i)
            sql = "INSERT INTO demo_yangben(xxx,xxxx,xxxx,xxxx)VALUES(%s,%s,%s,%s)"
            cursor.execute(sql, value)  # 执行sql语句
            db.commit()
        cursor.close()  # 关闭连接
     
     
    open_excel()
    insert_deta()

    　　

  • 再改一下，每一万条数据写入到数据库一次
  • 1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    80
    81
    82
    83
    84
    85
    86
    import pymysql
    import xlrd
    import sys
     
    '''
        连接数据库
        args：db_name（数据库名称）
        returns:db
     
    '''
     
     
    def mysql_link(de_name):
        try:
            db = pymysql.connect(host="127.0.0.1", user="xxx",
                                 passwd="xxx",
                                 db=xxx,
                                 charset='utf8')
            return db
        except:
            print("could not connect to mysql server")
     
     
    '''
        读取excel函数
        args：excel_file（excel文件，目录在py文件同目录）
        returns：book
    '''
     
     
    def open_excel(excel_file):
        try:
            book = xlrd.open_workbook(excel_file)  # 文件名，把文件与py文件放在同一目录下
            print(sys.getsizeof(book))
            return book
        except:
            print("open excel file failed!")
     
     
    '''
        执行插入操作
        args:db_name（数据库名称）
             table_name(表名称）
             excel_file（excel文件名，把文件与py文件放在同一目录下）
     
    '''
     
     
    def store_to(db_name, table_name, excel_file):
        db = mysql_link(db_name)  # 打开数据库连接
        cursor = db.cursor()  # 使用 cursor() 方法创建一个游标对象 cursor
     
        book = open_excel(excel_file)  # 打开excel文件
        sheets = book.sheet_names()  # 获取所有sheet表名
        for sheet in sheets:
            sh = book.sheet_by_name(sheet)  # 打开每一张表
            row_num = sh.nrows
            print(row_num)
            list = []  # 定义列表用来存放数据
            num = 0  # 用来控制每次插入的数量
            for i in range(1, row_num):  # 第一行是标题名，对应表中的字段名所以应该从第二行开始，计算机以0开始计数，所以值是1
                row_data = sh.row_values(i)  # 按行获取excel的值
                value = (row_data[0], row_data[1], row_data[2], row_data[3], row_data[4], row_data[5], \
                         row_data[6], row_data[7], row_data[8], row_data[9], row_data[10], row_data[11], row_data[12],
                         row_data[13], row_data[14])
                list.append(value)  # 将数据暂存在列表
                num += 1
                if( num>= 10000 ):  # 每一万条数据执行一次插入
                    print(sys.getsizeof(list))
                    sql = "INSERT INTO " + table_name + " (time, xingbie, afdd, xzb, yzb, cfbj, jjlbmc, \
                    bjlbmc, bjlxmc, bjlxxlmc, gxqymc,gxdwmc, afql, afxqxx, cjdwmc)\
                    VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
                    cursor.executemany(sql, list)  # 执行sql语句
     
                    num = 0  # 计数归零
                    list.clear()  # 清空list
                    print("worksheets: " + sheet + " has been inserted 10000 datas!")
     
        print("worksheets: " + sheet + " has been inserted " + str(row_num) + " datas!")
        db.commit()  # 提交
        cursor.close()  # 关闭连接
        db.close()
     
     
    if __name__ == '__main__':
        store_to('demo', 'demo_yangben', 'xxx.xlsx')

    　　

  • 思考，如果数据插入有错误，怎么解决，
  • 其实有很多数据库工具可以直接来解决这个问题，注意字符转换的格式就好。
  • 批量插入数据请看： https://www.cnblogs.com/longbigbeard/p/9317141.html

使用python将excel数据导入数据库的更多相关文章

  1. [Asp.net]常见数据导入Excel，Excel数据导入数据库解决方案，总有一款适合你！

    引言 项目中常用到将数据导入Excel,将Excel中的数据导入数据库的功能,曾经也查找过相关的内容,将曾经用过的方案总结一下. 方案一 NPOI NPOI 是 POI 项目的 .NET 版本.POI ...

  2. 如何把excel数据导入数据库

    这里介绍2种把excel数据导入oracle数据库的方法. 1. 在excel中生成sql语句. 1)在数据列的右侧,第一行的任何位置输入="insert into table(xx,yyy ...

  3. C#将Excel数据导入数据库（MySQL或Sql Server）

    最近一直很忙,很久没写博客了.今天给大家讲解一下如何用C#将Excel数据导入Excel,同时在文章最后附上如何用sqlserver和mysql工具导入数据. 导入过程大致分为两步: 1.将excel ...

  4. Excel数据导入数据库

    maven依赖 <!--excel相关依赖--> <dependency> <groupId>org.apache.poi</groupId> < ...

  5. 转：[Asp.net]常见数据导入Excel，Excel数据导入数据库解决方案，总有一款适合你！

    引言 项目中常用到将数据导入Excel,将Excel中的数据导入数据库的功能,曾经也查找过相关的内容,将曾经用过的方案总结一下. 方案一 NPOI NPOI 是 POI 项目的 .NET 版本.POI ...

  6. PHPExcel将Excel数据导入数据库

    <?php //PHPExcel读取导入Excel数据到数据库(2003,2007通用)使用方法: //先用excel2array()方法将excel表中的数据存储到数组,在从遍历二维数组将数据 ...

  7. 利用python将excel数据导入mySQL

    主要用到的库有xlrd和pymysql, 注意pymysql不支持python3 篇幅有限,只针对主要操作进行说明 连接数据库 首先pymysql需要连接数据库,我这里连接的是本地数据库(数据库叫ld ...

  8. 将Excel数据导入数据库

    Excel如下,这页工作表名叫“线路” 数据库表如下 using System; using System.Collections.Generic; using System.Linq; using ...

  9. ASP.NET Excel数据导入数据库

    <identity impersonate="true"/> 是指模拟IIS身份验证 導入錯誤時可刪除 protected void btnImport_Click(o ...

随机推荐

  1. leetcode 29-> Divide Two Integers without using multiplication, division and mod operator

    class Solution(object): def divide(self, dividend, divisor): """ :type dividend: int ...

  2. win10上安装keras

    下载Anaconda https://www.anaconda.com/ 点击进入下载界面 选择Windows版本64位,python3.7 下载完成后 ,双击安装 等待安装完成! 安装MinGW包, ...

  3. 修改记录-优化后(springboot+shiro+session+redis+ngnix共享)

    1.普通用户实现redis共享session 1.配置 #cache指定缓存类型 spring.cache.type=REDIS #data-redis spring.redis.database=1 ...

  4. Java中的包扫描（工具）

    在现在好多应用场景中,我们需要得到某个包名下面所有的类, 包括我们自己在src里写的java类和一些第三方提供的jar包里的类,那么怎么来实现呢? 今天带大家来完成这件事. 先分享代码: 1.这个类是 ...

  5. Jmeter 接口测试知识梳理——环境搭建篇

    Jmeter 使用也有很长时间了,但是一直没有做一下知识梳理,近期会对公司同事做一下这方面的培训,借此机会,把使用过程中应用到的知识,或是遇到的问题,整理出来,方便大家学习! 环境搭建篇 很多文章介绍 ...

  6. discuz的学习和部署

    1.http://jingyan.baidu.com/article/b87fe19eb57ff252183568d9.html 下载好后安装一个mysql, 2.

  7. 手机计算器1+1=2---Appium自动化

    要想计算1+1=2,首先要定位到按钮1,定位方式和selenium类似

  8. Linux chpasswd （批量或单一修改用户密码）和passwd（直接修改用户密码）

    Linux命令:chpasswd 批量或者单一修改用户密码 语法: 1:# echo 用户名:密码 | chpasswd 2:# chpasswd < doiido.txt 实例 1.直接修改d ...

  9. 11月27日 招聘网第七部分，.gitignore的用法。

    回想Rails --Active Record Query Interface--Scopes的基本用法: 1.Passing in arguments.例子:scope  :name , -> ...

  10. 轮播，试用与微信公众号，apicloud苹果安卓

    <head> <script type="text/javascript" src="script/jquery.min.js">< ...