使用python读取京东pdf发票信息导出到excel表格中
代码
#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
pip install pdfminer3k
pip install openpyxl
pip install pandas
pip install numpy
"""
import datetime
import os
import re
import pandas as pd
from pdfminer.converter import PDFPageAggregator
from pdfminer.layout import LTTextBoxHorizontal, LAParams
from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.pdfinterp import PDFTextExtractionNotAllowed
from pdfminer.pdfparser import PDFParser, PDFDocument
current_time = str(datetime.datetime.now().year) + "年" + str(datetime.datetime.now().month) + "月" + str(
datetime.datetime.now().day) + "日"
def from_pdf_to_txt(read_file, page_start=0, page_end=0):
"""
:param read_file: str. 注意后缀名是".pdf"
:param write_file: str. 注意后缀名填".txt"
:param page_start: int
:param page_end: int
:return:
"""
# 以二进制读模式打开
origin_pdf_file = open(read_file, 'rb')
# 用文件对象来创建一个pdf文档分析器
parser = PDFParser(origin_pdf_file)
# 创建一个pdf文档
doc = PDFDocument()
# 连接分析器与文档对象,这个语句比较有意思,相互set对方进去
parser.set_document(doc)
doc.set_parser(parser)
# 提供初始化密码.如果pdf没有密码,就传入一个空参数
doc.initialize()
# 检测文档是否提供txt转换,不提供就忽略
if not doc.is_extractable:
# 如果pdf不支持提取,则直接报错
raise PDFTextExtractionNotAllowed
else:
# 创建pdf资源管理器 来管理共享资源
srcmgr = PDFResourceManager()
# 创建一个pdf设备对象
device = PDFPageAggregator(srcmgr, laparams=LAParams())
# 创建一个pdf解释器对象
interpreter = PDFPageInterpreter(srcmgr, device)
# 循环遍历列表,每次处理一个page的内容
pages = list(doc.get_pages())
if page_end == 0:
page_end = len(pages)
results = ''
for i in range(page_start, page_end):
interpreter.process_page(pages[i])
# 接受该页面的LTPage对象
layout = device.get_result()
# 这里返回的是一个LTPage对象,里面存放着这个page解析出的各种对象
# 一般包括LTTextBox,LTFigure,LTImage,LTTextBoxHorizontal等等
# 想要获取文本就取它的text属性,即x.get_text()
# 获取text属性
for x in layout:
if isinstance(x, LTTextBoxHorizontal):
# with open(write_file, 'a', encoding='utf-8') as f:
string = x.get_text().replace('\n', '')
string = string.replace(":", '')
string = string.replace(":", '')
results = results + string.replace(' ', '')
# f.write(results)
# 最后关闭原始pdf文件
origin_pdf_file.close()
return results
#
def re_text(bt, text):
m1 = re.search(bt, text)
if not m1 is None:
reText = m1[0]
return reText
def get_pdf(dirpath):
pdf_file = []
for root, subdirs, filenames in os.walk(dirpath):
for filename in filenames:
if filename.endswith('.pdf'):
filepath = os.path.join(root, filename)
pdf_file.append(filepath)
return pdf_file
def get_text(dirpath, xlfilename):
results = []
filenames = get_pdf(dirpath)
for filename in filenames:
pdftext = from_pdf_to_txt(filename, 0, 1)
# print(pdftext)
cont = {}
cont['平台'] = "京东"
# 获取订单号
bt1 = '(?<=订单号)\d+'
rt1 = re_text(bt1, pdftext)
cont['订单号'] = rt1
cont['备注号码'] = None
if not rt1:
bt1 = '\d+号码\d+'
rt1 = re_text(bt1, pdftext)
rt1 = rt1.split("号码")[1]
cont['备注号码'] = rt1
# 获取发票抬头
bt2 = '\d+[\u4e00-\u9fa5]+'
rt2 = re_text(bt2, pdftext)
# print("1-rt2",rt2)
bt2 = '[\u4e00-\u9fa5]+'
rt2 = re_text(bt2, rt2)
# print("2-rt2", rt2)
if "公司" not in rt2:
rt2 = "个人"
cont['发票抬头'] = rt2
# 获取发票金额
bt3 = '-?\d+(\.\d+)?小写'
rt3 = re_text(bt3, pdftext.replace("(", "").replace(")", ""))
rt3 = rt3.replace("小写", "")
cont['发票金额'] = rt3
# 获取发票代码
bt4 = '(?<=发票代码)\d+'
rt4 = re_text(bt4, pdftext)
cont['发票代码'] = rt4
# 获取发票号码
bt5 = '(?<=发票号码)\d+'
rt5 = re_text(bt5, pdftext)
cont['发票号码'] = rt5
# 获取开票日期
bt6 = '(?<=开票日期)\d+'
rt6 = re_text(bt6, pdftext)
rt6 = rt6[0:4] + "年" + rt6[4:6] + "月" + rt6[6:] + "日"
cont['开票日期'] = rt6
cont['创建时间'] = current_time
cont['最后修改时间'] = current_time
results.append(cont)
# print(results)
pf = pd.DataFrame(results)
order = ["平台", "订单号", "备注号码", "发票抬头", "发票金额", "发票代码", "发票号码", "开票日期", "创建时间", "最后修改时间"] # 指定列的顺序
pf = pf[order]
file_path = pd.ExcelWriter(xlfilename) # 打开excel文件
# 替换空单元格
pf.fillna(' ', inplace=True)
# 输出
pf.to_excel(file_path, encoding='utf-8', index=False, sheet_name="sheet1")
file_path.save()
if __name__ == '__main__':
xlfilename = '发票.xlsx'
dirpath = 'C:\\Users\\william\\Desktop\\20210319\\发票'
get_text(dirpath, xlfilename)
三种发票样式
红线画的是需要提取出来的数据
使用python读取京东pdf发票信息导出到excel表格中的更多相关文章
- python 用xlwt包把数据导出到excel表中
def write_excel(): f = xlwt.Workbook() #创建工作簿 ''' 创建第一个sheet: sheet1 ''' sheet1 = f.add_sheet(u'shee ...
- PHP 导出到Excel表格中
/** * 导出excel * @throws \PHPExcel_Exception * @throws \PHPExcel_Reader_Exception * @throws \PHPExcel ...
- 从数据库的表导出到Excel表格中【让客户端下载的Excel】
原文发布时间为:2008-10-11 -- 来源于本人的百度文章 [由搬家工具导入] 这个例子是从gridview中导出到Excel,可以举一反三,可以直接从数据库中取值放在DataSet中,然后再从 ...
- Python实现数据库一键导出为Excel表格
依赖 Python2711 xlwt MySQLdb 数据库相关 连接 获取字段信息 获取数据 Excel基础 workbook sheet 案例 封装 封装之后 测试结果 总结 数据库数据导出为ex ...
- 办公利器!用Python批量识别发票并录入到Excel表格
辰哥今天来分享一篇办公干货文章:用Python批量识别发票并录入到Excel表格.对于财务专业等学生或者公司财务人员来说,将报账发票等汇总到excel简直就是一个折磨. 尤其是到年底的时候,公司的财务 ...
- python读取excel表格中的数据
使用python语言实现Excel 表格中的数据读取,需要用到xlrd.py模块,实现程序如下: import xlrd #导入xlrd模块 class ExcelData(): def __init ...
- java连接MongoDB查询导出为excel表格
背景 因为项目需求.每一个星期须要统计每一个公众号7天的訪问数,月底就须要统计一个月的訪问数,40多个公众号.每次手动统计都须要花费1个小时,总之是一项无技术耗时耗神的手工活. 于是.想写个程序来统计 ...
- 利用java反射机制实现读取excel表格中的数据
如果直接把excel表格中的数据导入数据库,首先应该将excel中的数据读取出来. 为了实现代码重用,所以使用了Object,而最终的结果是要获取一个list如List<User>.Lis ...
- js导出excel表格中较长数字串会变成科学计数法问题
在做项目中,遇到导出excel表格时,银行账户号数字过长,导出的数字串变为计数法形式,如下图: 网上搜到解决方法,粘贴到这以供学习.不断更新. 原博地址:http://www.cnblogs.com/ ...
随机推荐
- cnetOS使用Docker
设置DHCP vi /etc/sysconfig/network-scripts/ifcfg-ens32 (1)bootproto=dhcp (2)onboot=yes 重启网卡:systemctl ...
- SQLZOO练习三--SELECT within SELECT Tutorial
This tutorial looks at how we can use SELECT statements within SELECT statements to perform more com ...
- C++基本数据类型范围和区别(详细)
一.基本类型的大小及范围的总结(以下所讲都是默认在32位操作系统下):字节:byte:位:bit.1.短整型short:所占内存大小:2byte=16bit:所能表示范围:-32768~32767:( ...
- 算法竞赛进阶指南——0x15 字符串学习笔记
K M P模式匹配 #include <bits/stdc++.h> using namespace std; #define N 100 char s[N]; char m[N]; in ...
- 从零开始在centos搭建博客(一)
本篇为安装篇. 基于centos 7.9,大部分东西使用docker安装. 软件列表:docker + mysql + wordpress 安装docker yum install -y yum-ut ...
- SQL Server、MySQL主从搭建,EF Core读写分离代码实现
一.SQL Server的主从复制搭建 1.1.SQL Server主从复制结构图 SQL Server的主从通过发布订阅来实现 1.2.基于SQL Server2016实现主从 新建一个主库&quo ...
- Postgres常用时间查询
如select extract(day from now());
- goalng-sync/atomic原子操作
目录 1.go已经提供了锁,为什么还需要atomic原子操作? 2.atomic原子操作为什么比mutex快? 3.CAS 4.互斥锁与原子操作区别 5.原子操作方法 5.1 atomic.AddIn ...
- 完整代码:AgileFontSet迅捷字体设置程序
AgileFontSet用于快捷设置Windows系统字体和桌面图标间距,介绍参见:https://www.cnblogs.com/ybmj/p/11340105.html .这里提供AgileFon ...
- C 语言 时间函数使用技巧(汇总)
time.h 头文件 是 C 语言中 有关 时间的函数所储存的头文件 #include <time.h> 在介绍时间函数用法之前,我们首先要了解在 time.h 头文件中已经声明了的一个结 ...