c# NPOI 导出23万条记录耗时12秒

先上测试代码: string connectionString = "Server=localhost;Initial Catalog=******;User ID=sa;Password=******;"; List<TestData> datas = null; using (SqlConnection db = new SqlConnection(connectionString)) { datas = db.Query<TestData>("S…

Spring Batch 读 10 万条记录，写到 MongoDB

实践内容从 MariaDB 一张表内读 10 万条记录,经处理后写到 MongoDB . 具体实现 1.新建 Spring Boot 应用,依赖如下:  <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> <exclusions> &…

SQL 从100万条记录中的到成绩最高的记录

从100万条记录中的到成绩最高的记录问题分析:要从一张表中找到成绩最高的记录并不难,有很多种办法,最简单的就是利用TOP 1 select top 1 * from student order by score desc top TOP 子句用于规定要返回的记录的数目. 对于拥有数千条记录的大型表来说,TOP 子句是非常有用的. 注释:并非所有的数据库系统都支持 TOP 子句. SQL Server 的语法: SELECT TOP number|percent column_name(s)…

Mysql慢查询开启和查看 ,存储过程批量插入1000万条记录进行慢查询测试

首先登陆进入Mysql命令行执行sql show variables like 'slow_query%'; 结果为OFF 说明还未开启慢查询执行sql show variables like 'long_query_time'; 可以看到具体的慢查询 “”时限“ 我们先开启慢查询执行sql set global slow_query_log='ON'; 这是再去查询一下(show variables like 'slow_query%';)发现已经开启了. 也可以…

[Python] 通过采集23万条数据，对《哪吒》影评分析

一.说明数据来源:猫眼: 运行环境:Win10/Python3.7 和 Win7/Python3.5: 分析工具:jieba.WorldCloud.pyecharts和matplotlib: 程序基本思路:分析接口 —> 下载数据 —> 过滤数据 —> 保存文件 —> 统计分析; 注意:本文所有图文和源码仅供学习,请勿他用,转发请注明出处! 参考:https://www.cnblogs.com/reader/p/10070629.html 二.开始样本数据(23万+): 因为运…

Kettle提高表输出写入速度（每秒万条记录）

重点: ETL 优化多数在于表输入和表输出. 转自: https://blog.csdn.net/qq_37124304 https://blog.csdn.net/qq_37124304/article/details/82664665 由于Kettle提高表输出写入速度太低,每秒速度三四十,实在忍受不了,参考一些资料之后进行了以下改变,我只进行了第一项的速度每秒五六千,加上其他的测试速度有达到3万多,有一分钟二十多万的记录,没测试极限,下为更改的地方: NO.1 mysql表输出的时候出现减…

C# 使用EPPlus 秒导出10万条数据

1.先要引用dll文件,可以直接使用vs自带的包管理,如下图: 输入 EPPlus 我这里是安装过了的所以这里显示的是卸载而不是安装. 安装成功了之后会看到这个dll文件代码如下: //导出Excel protected void BtnMemExcel_Click(object sender, EventArgs e) { Mem bllMember = new Mem(); int Counts = NetPagerParameter.RecordCount; string strSql…

java导出excel（解决导出几万条数据内存溢出的问题）

import java.io.BufferedOutputStream; import java.io.DataOutputStream; import java.io.File; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; public class Test { public static void main(String[] args) {…

Mysql如何快速插入100万条记录？

1.java程序拼接insert带多个value,使一次提交多个值. 2.插入数据之前先删除索引(注意主键不能删除),然后插入数据,最后重建索引 3.可以设置手动commit,用来提高效率 4.使用批处理 5.存储过程(DBA会的)…

ClickHouse 对付单表上亿条记录分组查询秒出, OLAP应用秒杀其他数据库

1. 启动并下载一个clickhouse-server, By default, starting above server instance will be run as default user without password. docker run -d --name ch-server --ulimit nofile=262144:262144 -p 8123:8123 -p 9000:9000 -p 9009:9009 yandex/clickhouse-server或者加一个Mo…

ES 插入十万条数据耗时1573秒

…

NPOI导出

<body> @using (Html.BeginForm("ImportCommentsFile", "CommentsManage", FormMethod.Post, new { enctype = "multipart/form-data" })) { <div class="rowButton"> <input type="file" id="fileUpl…

XE中FMX操作ListBox，添加上千条记录（含图片）

我之前是想在ListBox的每个Item上添加一个图片,Item上所有的内容都是放在Object里赋值,结果发现加载一百条记录耗时四五秒: procedure TMainForm.AddItem; var o : TListBoxItem; o1 : TFrm; begin o := TListBoxItem.Create(self); // 创建对象 o.Height := 128; o1 :=TFrm.Create(o); // 创建TFrm o1.Parent:=o; ListBox1.A…

C# NPOI导出Excel和EPPlus导出Excel比较

系统中经常会使用导出Excel的功能. 之前使用的是NPOI,但是导出数据行数多就报内存溢出. 最近看到EPPlus可以用来导出Excel,就自己测了下两者导出上的差异. NPIO官网地址:http://npoi.codeplex.com/ EPPlus官网地址:http://epplus.codeplex.com/ 添加NPOI.EPPlus类库dll使用的是NuGet添加. 在类库References右键Manage NuGet Packages...,之后选择添加对应的dll. 测试结果显…

C# NPOI导出Excel和EPPlus导出Excel

转自:http://www.cnblogs.com/tanpeng/p/6155749.html 系统中经常会使用导出Excel的功能.之前使用的是NPOI,但是导出数据行数多就报内存溢出. 最近看到EPPlus可以用来导出Excel,就自己测了下两者导出上的差异. NPIO官网地址:http://npoi.codeplex.com/ EPPlus官网地址:http://epplus.codeplex.com/ 添加NPOI.EPPlus类库dll使用的是NuGet添加. 在类库Referenc…

POI SXSSF API 导出1000万数据示例

SXSSF是XSSF API的兼容流式扩展,在必须生成非常大的电子表格.并且堆空间有限时使用. SXSSF通过限制对滑动窗口内数据的访问实现低内存占用,而XSSF允许访问文档中的所有行. 不在窗口中的数据将变得不可访问,因为它们已经被写入磁盘. 一.SXSSF流式API 首先看一下官方文档的说明. https://poi.apache.org/components/spreadsheet/how-to.html#sxssf SXSSF是XSSF API的兼容流式扩展,在必须生成非常大的电子表格.…

如何在十分钟内插入1亿条记录到Oracle数据库？

这里提供一种方法,使用 APPEND 提示,使得十分钟内插入上亿数据成为可能. -- Create table create table TMP_TEST_CHAS_LEE ( f01 VARCHAR2(20), f02 NUMBER(10) not null, f03 VARCHAR2(21), f04 VARCHAR2(21), f05 NUMBER, f06 NUMBER(20) ); --创建一个临时表,用于提供序列号 CREATE GLOBAL TEMPORARY table t_se…

随机获取Mysql数据表的一条或多条记录

随机获得Mysql数据表的一条或多条记录有很多方法,下面我就以users(userId,userName,password......)表(有一百多万条记录)为例,对比讲解下几个方法效率问题: select * from users order by rand() LIMIT 1 执行该sql语句,老半天没有反应,最后被迫手动停止执行,怎个伤人了得啊!后来我查了一下MYSQL手册,里面针对RAND()的提示大概意思就是,在 ORDER BY从句里面不能使用RAND()函数,因为这样会导致数据列被…

通过数组方式向Oracle大批量插入数据（10万条11秒）

1.创建数据库Person CREATE TABLE Person( id number, name nvarchar2() , age number , sex nvarchar2() , password nvarchar2() ) 2.在数据库建立一个type,对应JAVA端要传入的对象结构: CREATE OR REPLACE TYPE BUT_UKBNOV_CTC_ORDER_REC1 AS OBJECT ( id number, name nvarchar2(200) , age n…

Delphi 操作SQL 插入一万条数据三种方式速度测试

unit Unit1; interface uses Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms, Dialogs, DB, ADODB, StdCtrls; type TForm1 = class(TForm) Button1: TButton; btn1: TButton; ADOConnection1: TADOConnection; ADOQuery1: TADOQuery; ADOC…

mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式)

mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式) 首先将要导入的数据文件top5000W.txt放入到数据库数据目录/var/local/mysql/data/${db_name}/ 下,并确保导入用户拥有这个txt文件的权限,否则会报Error 13错误 1.${table_name}换myisam,我们的场景对事务没啥要求,innodb引擎速度太慢了,原来导入12个小时都没导完2.导入前修改参数和禁止索引更新mysql> SET SESSION BULK_I…