PHP读取超大的excel文件数据的方案
场景和痛点
说明
今天因为一个老同学找我,说自己公司的物流业务都是现在用excel处理,按月因为数据量大,一个excel差不多有百万数据,文件有接近100M,打开和搜索就相当的慢
联想到场景:要导入数据,可能excel数据量很大,这里利用常用的一些方法比如phpexcel会常有时间和内存限制问题
下面我们就利用一个利用流处理的类库SpreadsheetReader来做大excel的读取
编写过程
说明
关键具体在代码里注释
代码
<?php
/**
* Created by PhpStorm.
* User: qkl
* Date: 2018/7/11
* Time: 15:14
*/
set_time_limit(0); // 设置脚本最大执行时间 为0 永不过期
//ini_set('memory_limit','200M'); // 临时设置最大内存占用
function convert($size)
{
$unit = array('b', 'kb', 'mb', 'gb', 'tb', 'pb');
return @round($size / pow(1024, ($i = floor(log($size, 1024)))), 2) . ' ' . $unit[$i];
}
require '../vendor/autoload.php';
$start = memory_get_usage();
echo convert($start) . PHP_EOL;
//$inputFileName = './11111111.xlsx';
$inputFileName = './example1.xlsx';
// If you need to parse XLS files, include php-excel-reader
$startTime = microtime(true);
$Reader = new SpreadsheetReader($inputFileName);
//获取当前文件所有的工作表
$sheets = $Reader->Sheets();
if (!$sheets) {
die("没有工作表");
}
//改变当前处理的工作表
$Reader->ChangeSheet(0);
//打印当前所在工作表的当前所在行数据
var_dump($Reader->current());
//因为reader类集成了Iter所以可以用迭代方式处理
//这里提醒 如果文件超大,这边的处理速度会过慢,不过不会引发内存性能问题
//$i = 0;
//foreach ($Reader as $Row)
//{
// if ($i>=3) {
// break;
// }
//
// echo $i . PHP_EOL;
// print_r($Row);
//
// $i++;
//}
$endTime = microtime(true);
$memoryUse = memory_get_usage();
echo "内存占用:" . convert($memoryUse) . "; 用时:" . ($endTime - $startTime) . PHP_EOL;
结果
测试说明
上面读取的example1.xlsx文件有100M左右,读写过慢,测试只开了读取当前默认工作表的当前所在行数据
因数据敏感,已做屏蔽
日志记录内存使用率
147.77 kb
array (size=50)
0 => string 'xxxxxxxxxxxxxx' (length=25)
1 => string 'xxxxxxxxxxxxxx' (length=15)
2 => string 'xxxxxxxxxxxxxx' (length=18)
3 => string 'xxxxxxxxxxxxxx' (length=12)
4 => string 'xxxxxxxxxxxxxx' (length=12)
5 => string 'xxxxxxxxxxxxxx' (length=12)
6 => string 'xxxxxxxxxxxxxx' (length=24)
7 => string 'xxxxxxxxxxxxxx' (length=12)
8 => string 'xxxxxxxxxxxxxx' (length=27)
9 => string 'xxxxxxxxxxxxxx' (length=12)
10 => string 'xxxxxxxxxxxxxx' (length=15)
11 => string 'xxxxxxxxxxxxxx' (length=28)
12 => string 'xxxxxxxxxxxxxx' (length=9)
13 => string 'xxxxxxxxxxxxxx' (length=12)
14 => string 'xxxxxxxxxxxxxx' (length=9)
15 => string 'xxxxxxxxxxxxxx' (length=6)
16 => string 'xxxxxxxxxxxxxx' (length=9)
17 => string 'xxxxxxxxxxxxxx' (length=3)
18 => string 'xxxxxxxxxxxxxx' (length=6)
19 => string 'xxxxxxxxxxxxxx' (length=3)
20 => string 'xxxxxxxxxxxxxx' (length=15)
21 => string 'xxxxxxxxxxxxxx' (length=15)
22 => string 'xxxxxxxxxxxxxx' (length=19)
23 => string 'xxxxxxxxxxxxxx' (length=13)
24 => string 'xxxxxxxxxxxxxx' (length=19)
25 => string 'xxxxxxxxxxxxxx' (length=12)
26 => string 'xxxxxxxxxxxxxx' (length=12)
27 => string 'xxxxxxxxxxxxxx' (length=12)
28 => string 'xxxxxxxxxxxxxx' (length=6)
29 => string 'xxxxxxxxxxxxxx' (length=12)
30 => string 'xxxxxxxxxxxxxx' (length=6)
31 => string 'xxxxxxxxxxxxxx' (length=15)
32 => string 'xxxxxxxxxxxxxx' (length=24)
33 => string 'xxxxxxxxxxxxxx' (length=18)
34 => string 'xxxxxxxxxxxxxx' (length=18)
35 => string 'xxxxxxxxxxxxxx' (length=24)
36 => string 'xxxxxxxxxxxxxx' (length=12)
37 => string 'xxxxxxxxxxxxxx' (length=18)
38 => string 'xxxxxxxxxxxxxx' (length=21)
39 => string 'xxxxxxxxxxxxxx' (length=9)
40 => string 'xxxxxxxxxxxxxx' (length=9)
41 => string 'xxxxxxxxxxxxxx' (length=18)
42 => string 'xxxxxxxxxxxxxx' (length=21)
43 => string 'xxxxxxxxxxxxxx' (length=15)
44 => string 'xxxxxxxxxxxxxx' (length=12)
45 => string 'xxxxxxxxxxxxxx' (length=6)
46 => string 'xxxxxxxxxxxxxx' (length=12)
47 => string 'xxxxxxxxxxxxxx' (length=22)
48 => string 'xxxxxxxxxxxxxx' (length=22)
49 => string '' (length=0)
内存占用:207.55 kb; 用时:9.5835480690002
原文地址:https://segmentfault.com/a/1190000015601758
PHP读取超大的excel文件数据的方案的更多相关文章
- 上传读取Excel文件数据
/// <summary> /// 上传读取Excel文件数据 /// 来自http://www.cnblogs.com/cielwater /// </summary> // ...
- VC6.0读取Excel文件数据
啰嗦一下:本人所在公司从事碟式斯特林太阳能发电设备的研发与销售.单台设备图如下: 工作原理如下:整个设备大致可分为五个部分, 1.服务器,负责气象.发电等数据存取,电.网连接等处理: 2.气象站,通过 ...
- 项目一:第四天 1、快递员的条件分页查询-noSession,条件查询 2、快递员删除(逻辑删除) 3、基于Apache POI实现批量导入区域数据 a)Jquery OCUpload上传文件插件使用 b)Apache POI读取excel文件数据
1. 快递员的条件分页查询-noSession,条件查询 2. 快递员删除(逻辑删除) 3. 基于Apache POI实现批量导入区域数据 a) Jquery OCUpload上传文件插件使用 b) ...
- ci框架读取上传的excel文件数据
原文链接: https://blog.csdn.net/qq_38148394/article/details/87921373 此功能实现使用到PHPExcel类库,PHPExcel是一个PHP类库 ...
- c++ 读取并解析excel文件方法
用Cocos开发模型特效工具编辑器,跨Mac和windows,当中有个需求是读取并解析excel文件,但网上的查找的例子几乎都只能是在windows下面使用,再或者是命令行脚本之类的.于是,自己写了一 ...
- Java中使用POI读取大的Excel文件或者输入流时发生out of memory异常参考解决方案
注意:此参考解决方案只是针对xlsx格式的excel文件! 背景 前一段时间遇到一种情况,服务器经常宕机,而且没有规律性,查看GC日志发生了out of memory,是堆溢出导致的,分析了一下堆的d ...
- C# 读取CSV和EXCEL文件示例
我们习惯了直接连到数据库上面读取数据表的数据内容: 如果有一天我们需要读取CSV,EXCEL文件的内容的时候,可不可以也像读数据表的方式一样呢?当然可以,使用OleDB ADO.NET是很简单的事情 ...
- 【转】Python xlrd、xlwt、xlutils读取、修改Excel文件
Python xlrd.xlwt.xlutils读取.修改Excel文件 一.xlrd读取excel 这里介绍一个不错的包xlrs,可以工作在任何平台.这也就意味着你可以在Linux下读取Excel文 ...
- selenium实现excel文件数据的读、写
在进行软件测试或设计自动化测试框架时,一个不可避免的过程就是: 参数 化,在利用 python 进行自动化测试开发时,通常会使用 excel 来做数据管 理,利用 xlrd.xlwt 开源包来读写 e ...
随机推荐
- java中jsp页面的css资源定位---备忘录
1:同级目录下(应该是相对定位) web-inf下的内容是不对外开放的/安全的,不能通过url直接访问.已避免非法人员通过url自己操作一些比较私密的文件信息. 能在sevlet(或者spring的c ...
- PHP 循环一个文件下的所有目录以及文件
function test($dir) { //判断dir是否目录 if(is_dir($dir)) { $files = []; //列出 dir 目录中的文件和目录: $list = scandi ...
- C# 后台处理http请求
using System.Collections.Generic; using System.Linq; using System.Text; using System.Net; using Syst ...
- Xposed 集成 Android 6.0.1环境中,总结
由于工作需要,需要将xposed集成到android源码中,生成新的ROM就自带xposed的功能. 下面大体上说一下步骤和遇到的问题. 1.下载,并编译android源码,成功. 2.下载 http ...
- 在代码里更新autolayout布局
//遍历view约束(高,宽) NSArray* constrains = self.View.constraints; for (NSLayoutConstraint* constraint in ...
- 有了Git这些操作,我再也不怕开发了!
Git 是什么? Git 是一个分布式的代码管理容器,本地和远端都保有一份相同的代码. Git 仓库主要是由是三部分组成:本地代码,缓存区,提交历史. Git 有哪些常规操作? Git的常规操作你了解 ...
- CentOS 7静默(无图形化界面)安装Oracle 11g
准备CentOS 7 系统环境 我以 CentOS-7-x86_64-DVD-1511.iso 为例,简述Oracle 11g的安装过程. 由于是使用静默模式(silent)安装的,无需使用图形化界面 ...
- _bzoj1031 [JSOI2007]字符加密Cipher【后缀数组】
传送门:http://www.lydsy.com/JudgeOnline/problem.php?id=1031 保存后缀数组模版. 其实如果数据范围小一点,或者空间限制再大一点,或者甚至只要字母表再 ...
- _bzoj1026 [SCOI2009]windy数【数位dp】
传送门:http://www.lydsy.com/JudgeOnline/problem.php?id=1026 数位dp果断记忆化搜索,代码量少~ 程序里我用11代表前导零. #include &l ...
- Styles and Themens(1)详述
Styles and Themes IN THIS DOCUMENT Defining Styles Inheritance Style Properties Applying Styles and ...