Postgresql快速写入/读取大量数据

http://www.cnblogs.com/podolski/p/7152144.html

环境及测试

使用.net驱动npgsql连接post数据库。配置:win10 x64, i5-4590, 16G DDR3, SSD 850EVO.

postgresql 9.6.3,数据库与数据都安装在SSD上,默认配置,无扩展。

CREATE TABLE public.mesh

(

x integer NOT NULL,

y integer NOT NULL,

z integer,

CONSTRAINT prim PRIMARY KEY (x, y)

)

  1. 导入

    使用数据备份,csv格式导入,文件位于机械硬盘上,480MB,数据量2500w+。

使用COPY

copy mesh from 'd:/user.csv' csv

运行时间107s

使用insert

单连接,c# release any cpu 非调试模式。

class Program

{

static void Main(string[] args)

{

var list = GetData("D:\user.csv");

TimeCalc.LogStartTime();

using (var sm = new SqlManipulation(@"Strings", SqlType.PostgresQL))

{

sm.Init();

foreach (var n in list)

{

sm.ExcuteNonQuery($"insert into mesh(x,y,z) values({n.x},{n.y},{n.z})");

}

}

TimeCalc.ShowTotalDuration();

    Console.ReadKey();
} static List<(int x, int y, int z)> GetData(string filepath)
{
List<ValueTuple<int, int, int>> list = new List<(int, int, int)>();
foreach (var n in File.ReadLines(filepath))
{
string[] x = n.Split(',');
list.Add((Convert.ToInt32(x[0]), Convert.ToInt32(x[1]), Convert.ToInt32(x[2])));
}
return list;
}

}

Postgresql CPU占用率很低,但是跑了一年,程序依然不能结束,没有耐性了...,这么插入不行。

multiline insert

使用multiline插入,一条语句插入约100条数据。

var bag = GetData("D:\user.csv");

//使用时,直接执行stringbuilder的tostring方法。

List listbuilder = new List();

StringBuilder sb = new StringBuilder();

for (int i = 0; i < bag.Count; i++)

{

if (i % 100 == 0)

{

sb = new StringBuilder();

listbuilder.Add(sb);

sb.Append("insert into mesh(x,y,z) values");

sb.Append($"({bag[i].x}, {bag[i].y}, {bag[i].z})");

}

else

sb.Append($",({bag[i].x}, {bag[i].y}, {bag[i].z})");

}

Postgresql CPU占用率差不多27%,磁盘写入大约45MB/S,感觉就是在干活,最后时间217.36s。

改为1000一行的话,CPU占用率提高,但是磁盘写入平均来看有所降低,最后时间160.58s.

prepare语法

prepare语法可以让postgresql提前规划sql,优化性能。

使用单行插入 CPU占用率不到25%,磁盘写入63MB/S左右,但是,使用单行插入的方式,效率没有改观,时间太长还是等不来结果。

使用多行插入 CPU占用率30%,磁盘写入50MB/S,最后结果163.02,最后的时候出了个异常,就是最后一组数据长度不满足条件,无伤大雅。

static void Main(string[] args)

{

var bag = GetData("D:\user.csv");

List listbuilder = new List();

StringBuilder sb = new StringBuilder();

for (int i = 0; i < bag.Count; i++)

{

if (i % 1000 == 0)

{

sb = new StringBuilder();

listbuilder.Add(sb);

//sb.Append("insert into mesh(x,y,z) values");

sb.Append($"{bag[i].x}, {bag[i].y}, {bag[i].z}");

}

else

sb.Append($",{bag[i].x}, {bag[i].y}, {bag[i].z}");

}

StringBuilder sbp = new StringBuilder();

sbp.Append("PREPARE insertplan (");

for (int i = 0; i < 1000; i++)

{

sbp.Append("int,int,int,");

}

sbp.Remove(sbp.Length - 1, 1);

sbp.Append(") AS INSERT INTO mesh(x, y, z) values");

for (int i = 0; i < 1000; i++)

{

sbp.Append($"(${i3 + 1},${i 3 + 2},${i*3+ 3}),");

}

sbp.Remove(sbp.Length - 1, 1);

TimeCalc.LogStartTime();

using (var sm = new SqlManipulation(@"string", SqlType.PostgresQL))
{
sm.Init();
sm.ExcuteNonQuery(sbp.ToString());
foreach (var n in listbuilder)
{
sm.ExcuteNonQuery($"EXECUTE insertplan({n.ToString()})");
}
}
TimeCalc.ShowTotalDuration(); Console.ReadKey();

}

使用Transaction

在前面的基础上,使用事务改造。每条语句插入1000条数据,每1000条作为一个事务,CPU 30%,磁盘34MB/S,耗时170.16s。

改成100条一个事务,耗时167.78s。

使用多线程

还在前面的基础上,使用多线程,每个线程建立一个连接,一个连接处理100条sql语句,每条sql语句插入1000条数据,以此种方式进行导入。注意,连接字符串可以将maxpoolsize设置大一些,我机器上实测,不设置会报连接超时错误。

CPU占用率上到80%, 磁盘这里需要注意,由于生成了非常多个Postgresql server进程,不好统计,累积算上应该有小100MB/S,最终时间,98.18s。

使用TPL,由于Parallel.ForEach返回的结果没有检查,可能导致时间不是很准确(偏小)。

var lists = new List<List>();

var listt = new List();

for (int i = 0; i < listbuilder.Count; i++)

{

if (i % 1000 == 0)

{

listt = new List();

lists.Add(listt);

}

listt.Add(listbuilder[i].ToString());

}

TimeCalc.LogStartTime();

Parallel.ForEach(lists, (x) =>

{

using (var sm = new SqlManipulation(@";string;MaxPoolSize=1000;", SqlType.PostgresQL))

{

sm.Init();

foreach (var n in x)

{

sm.ExcuteNonQuery(n);

}

}

});

TimeCalc.ShowTotalDuration();

写入方式 耗时(1000条/行)

COPY 107s

insert N/A

多行insert 160.58s

prepare多行insert 163.02s

事务多行insert 170.16s

多连接多行insert 98.18s

2. 写入更新

数据实时更新,数量可能继续增长,使用简单的insert或者update是不行的,操作使用postgresql 9.5以后支持的新语法。

insert into mesh on conflict (x,y) do update set z = excluded.z

吐槽postgresql这么晚才支持on conflict,mysql早有了...

在表中既有数据2500w+的前提下,重复往数据库里面写这些数据。这里只做多行插入更新测试,其他的结果应该差不多。

普通多行插入,耗时272.15s。

多线程插入的情况,耗时362.26s,CPU占用率一度到了100%。猜测多连接的情况下,更新互锁导致性能下降。

  1. 读取

    Select方法

    标准读取还是用select方法,ADO.NET直接读取。

使用adapter方式,耗时135.39s;使用dbreader方式,耗时71.62s。

Copy方法

postgresql的copy方法提供stdout binary方式,可以指定一条查询进行输出,耗时53.20s。

public List<(int x, int y, int z)> BulkIQueryNpg()

{

List<(int, int, int)> dict = new List<(int, int, int)>();

using (var reader = ((NpgsqlConnection)_conn).BeginBinaryExport("COPY (select x,y,z from mesh) TO STDOUT (FORMAT BINARY)"))

{

while (reader.StartRow() != -1)

{

var x = reader.Read(NpgsqlDbType.Integer);

var y = reader.Read(NpgsqlDbType.Integer);

var z = reader.Read(NpgsqlDbType.Integer);

dict.Add((x, y, z));

}

}

return dict;

}

结论

总结测试结果,对于较多数据的情况下,可以得出以下结论:

向空数据表导入或者没有重复数据表的导入,优先使用COPY语句(为什么有这个前提详见P.S.);

使用一条语句插入多条数据的方式能够大幅度改善插入性能,可以实验确定最优条数;

使用transaction或者prepare插入,在本场景中优化效果不明显;

使用多连接/多线程操作,速度上有优势,但是把握不好容易造成资源占用率过高,连接数太大也容易影响其他应用;

写入更新是postgresql新特性,使用会造成一定的性能消耗(相对直接插入);

读取数据时,使用COPY语句能够获得较好的性能;

ado.net dbreader对象由于不需要fill的过程,读取速度也较快(虽然赶不上COPY),也可优先考虑。

P.S.

为什么不用mysql

没有最好的,只有最合适的,讲道理我也是挺喜欢用mysql的。使用postgresql的原因主要在于:

postgresql导入导出的sql指令“copy”直接支持Binary模式到stdin和stdout,如果程序想直接集成,那么用这个是比较方便的;相比较,mysql的sql语法(load data infile)并不支持到stdin或者stdout,导出可以通过mysqldump.exe实现,导入暂时没什么特别好的办法(mysqlimport或许可以)。

相较于mysql缺点

postgresql使用copy导入的时候,如果目标表已经有数据,那么在有主键约束的表遇到错误时,COPY自动终止,而且可能导致不完全插入的情况,换言之,是不支持导入的过程进行update操作;mysql的load语法可以显式指定出错之后的动作(IGNORE/REPLACE),不会打断导入过程。

其他

如果需要使用mysql从程序导入数据,可以考虑先通过程序导出到文件,然后借助文件进行导入,据说效率也要比insert高出不少。

net快速写入/读取大量数据Postgresql的更多相关文章

  1. Postgresql快速写入/读取大量数据(.net)

    环境及测试 使用.net驱动npgsql连接post数据库.配置:win10 x64, i5-4590, 16G DDR3, SSD 850EVO. postgresql 9.6.3,数据库与数据都安 ...

  2. [C#]使用Process的StandardInput与StandardOutput写入读取控制台数据

    本文为原创文章.源代码为原创代码,如转载/复制,请在网页/代码处明显位置标明原文名称.作者及网址,谢谢! 开发工具:VS2017 语言:C# DotNet版本:.Net FrameWork 4.0及以 ...

  3. [原创]PostgreSQL Plus Advanced Server批量创建分区表写入亿级别数据实例

    当前情况:大表的数据量已接近2亿条我的解决思路:为它创建n*100个分区表,将各个分区表放在不同的tablespace上这样做的优点:1.首先是对这个级别的数据表的性能会有所提升2.数据管理更科学3. ...

  4. JXL读取写入excel表格数据

    问题描述: 使用java的jxl包创建.写入excel表格数据 问题解决: (1)说明 (2)写入execel数据 注: 以上是写入数据需要调用的函数接口 注: 具体接口调用过程,如上所示 (3)读取 ...

  5. Java POI读取Excel数据,将数据写入到Excel表格

    1.准备 首先需要导入poi相应的jar包,包括: 下载地址:http://pan.baidu.com/s/1bpoxdz5 所需要的包的所在位置包括: 2.读取Excel数据代码 package S ...

  6. python 的两个模块xlwt,xlrd,写入和读取Excel数据

    http://www.cnblogs.com/fireme/p/3887284.html 这上面写的很全,不过我只需要简单的读和写的操作就ok了,下面是我写的读和写入Excel操作 读取Excel数据 ...

  7. 我们知道写入过程比ZooKeeper集合中的读取过程要贵,因为所有节点都需要在数据库中写入相同的数据。因此,对于平衡的环境拥有较少数量(例如3,5,7)的节点比拥有大量的节点要好。

    我们知道写入过程比ZooKeeper集合中的读取过程要贵,因为所有节点都需要在数据库中写入相同的数据.因此,对于平衡的环境拥有较少数量(例如3,5,7)的节点比拥有大量的节点要好. 组件 描述 写入( ...

  8. Java读取CSV数据并写入txt文件

    读取CSV数据并写入txt文件 package com.vfsd; import java.io.BufferedWriter; import java.io.File; import java.io ...

  9. java 读取CSV数据并写入txt文本

    java 读取CSV数据并写入txt文本 package com.vfsd; import java.io.BufferedWriter; import java.io.File; import ja ...

随机推荐

  1. Linux通信之同步阻塞模式

    [参考]韦东山 教学笔记 1. 原子操作原子操作指的是在执行过程中不会被别的代码路径所中断的操作.常用原子操作函数举例:atomic_t v = ATOMIC_INIT(0); //定义原子变量v并初 ...

  2. akka框架——异步非阻塞高并发处理框架

    akka actor, akka cluster akka是一系列框架,包括akka-actor, akka-remote, akka-cluster, akka-stream等,分别具有高并发处理模 ...

  3. 扩展银行项目,添加一个(客户类)Customer类。Customer类将包含一个Account对象。

    练习目标-使用引用类型的成员变量:在本练习中,将扩展银行项目,添加一个(客户类)Customer类.Customer类将包含一个Account对象. 任务 在banking包下的创建Customer类 ...

  4. Assembly之instruction之CMP

    CMP[.W]  Compare source and destinationCMP.B  Compare source and destination Syntax  CMP src,dst or ...

  5. 图像局部显著性—点特征(SURF)

    1999年的SIFT(ICCV 1999,并改进发表于IJCV 2004,本文描述):参考描述:图像特征点描述. 参考原文:SURF特征提取分析 本文有大量删除,如有疑义,请参考原文. SURF对SI ...

  6. 图像局部显著性—点特征(GLOH)

    基于古老的Marr视觉理论,视觉识别和场景重建的基础即第一阶段为局部显著性探测.探测到的主要特征为直觉上可刺激底层视觉的局部显著性--特征点.特征线.特征块. 相关介绍:局部特征显著性-点特征(SIF ...

  7. scala类型系统:24) 理解 higher-kinded-type

    首先我们从最基本的泛型来看: 现在我们对上面泛型中的类型参数再进一步,也是个泛型会如何呢? 可以看到,java中不支持类型参数也是泛型类型的情况,而scala支持.这是一个很重要的区别,scala在类 ...

  8. uni-app强大的前端框架,h5,原生app(两大系统),微信小程序

    最近发现一款强大的前端框架,它叫uni-app 这是一款通用的框架可以打包app,h5,微信小程序, 说说要弄这个工具需要会那些技能吧, 要熟悉vue,微信小程序.这样这个框架用的就是很快上手了 模块 ...

  9. 移动端自动化测试-WTF Appium

    手机App分为两大类,原生App(Native App)和混合APP(Hybrid App) 原生App(Native App) 原生App实际就是我们所常见的传统App开发模式,云端数据存储+App ...

  10. [置顶] 我的 Java 后端书架 (2016 年暖冬版)

    转自:  http://calvin1978.blogcn.com/articles/bookshelf16.html 我的 Java 后端书架 (2016 年暖冬版) 本书架主要针对 Java 后端 ...