C# 海量数据瞬间插入到数据库的方法

当我们在数据库中进行大量的数据追加时,是不是经常因为数据量过大而苦恼呢?
而所谓的海量数据,一般也是上万级的数据,比如我们要添加一百万条数据,应该如何提高它的效率呢?

Oracle数据库:

普通肉垫式

什么叫批量插入呢,就是一次性插入一批数据,我们可以把这批数据理解为一个大的数组,而这些全部只通过一个SQL来实现,而在传统方式下,需要调用很多次的SQL才可以完成,这就是著名的“数组绑定”的功能。我们先来看一下传统方式下,插入多行记录的操作方式:

 1 //设置一个数据库的连接串,
2 string connectStr = "User Id=scott;Password=tiger;Data Source=";
3 OracleConnection conn = new OracleConnection(connectStr);
4 OracleCommand command = new OracleCommand();
5 command.Connection = conn;
6 conn.Open();
7 //通过循环写入大量的数据,这种方法显然是肉垫
8 for (int i = 0; i < recc; i++)
9 {
10 string sql = "insert into dept values(" + i.ToString() + "," + i.ToString() + "," + i.ToString() + ")";
11 command.CommandText = sql;
12 command.ExecuteNonQuery();
13 }

使用ODP特性

 1 //设置一个数据库的连接串
2 string connectStr = "User Id=scott;Password=tiger;Data Source=";
3 OracleConnection conn = new OracleConnection(connectStr);
4 OracleCommand command = new OracleCommand();
5 command.Connection = conn;
6 //到此为止,还都是我们熟悉的代码,下面就要开始喽
7 //这个参数需要指定每次批插入的记录数
8 command.ArrayBindCount = recc;
9 //在这个命令行中,用到了参数,参数我们很熟悉,但是这个参数在传值的时候
10 //用到的是数组,而不是单个的值,这就是它独特的地方
11 command.CommandText = "insert into dept values(:deptno, :deptname, :loc)";
12 conn.Open();
13 //下面定义几个数组,分别表示三个字段,数组的长度由参数直接给出
14 int[] deptNo = new int[recc];
15 string[] dname = new string[recc];
16 string[] loc = new string[recc];
17 // 为了传递参数,不可避免的要使用参数,下面会连续定义三个
18 // 从名称可以直接看出每个参数的含义,不在每个解释了
19 OracleParameter deptNoParam = new OracleParameter("deptno", OracleDbType.Int32);
20 deptNoParam.Direction = ParameterDirection.Input;
21 deptNoParam.Value = deptNo;
22 command.Parameters.Add(deptNoParam);
23 OracleParameter deptNameParam = new OracleParameter("deptname", OracleDbType.Varchar2);
24 deptNameParam.Direction = ParameterDirection.Input;
25 deptNameParam.Value = dname; command.Parameters.Add(deptNameParam);
26 OracleParameter deptLocParam = new OracleParameter("loc", OracleDbType.Varchar2);
27 deptLocParam.Direction = ParameterDirection.Input;
28 deptLocParam.Value = loc;
29 command.Parameters.Add(deptLocParam);
30 //在下面的循环中,先把数组定义好,而不是像上面那样直接生成SQL
31 for (int i = 0; i < recc; i++)
32 {
33 deptNo[i] = i;
34 dname[i] = i.ToString();
35 loc[i] = i.ToString();
36 }
37 //这个调用将把参数数组传进SQL,同时写入数据库
38 command.ExecuteNonQuery();

当数据量达到100万级别时,所用时间依然令人满意,最快一次达到890毫秒,一般为1秒左右。

SqlServer数据库

既然Oracle可以如此爽快,那么在SqlServer中是否也可以这样做呢?
但是在SqlServer中却没有诸如ArrayBindCount 这样的操作属性。
不过,我们却可以借助于BULK INSERT来进入海量数据的添加。
代码:

 1 //设置一个数据库的连接串
2 string connectStr = "……";
3 SqlConnection conn = new SqlConnection(connectStr);
4 SqlCommand command = new SqlCommand();
5 command.CommandTimeout = 0;
6 command.Connection = conn;
7 /*说明:
8 * “c:\\sql.txt”是一个预先生成的包含100条数据的文件
9 * 每一个字段的信息以“,”分割
10 * 每一条数据以“|”符号分隔
11 * 每10万条数据一个事务。
12 */
13 command.CommandText = "BULK INSERT TableB FROM 'c:\\sql.txt' WITH (FIELDTERMINATOR = ',',ROWTERMINATOR ='|',BATCHSIZE = 100000)";
14 conn.Open();
15 //System.Data.SqlClient.SqlBulkCopy sqlBC
16 command.ExecuteNonQuery();
17
18 conn.Close();

虽然比不上Oracle那么变态,但是插入百万条数据也不过只用了几秒时间,比起我们平时的添加速度,无疑已经让人非常兴奋了吧,呵呵。

C# 海量数据瞬间插入到数据库的方法的更多相关文章

  1. C# Oracle海量数据瞬间插入到数据库的方法

    C# 海量数据瞬间插入到数据库的方法 当我们在数据库中进行大量的数据追加时,是不是经常因为数据量过大而苦恼呢?而所谓的海量数据,一般也是上万级的数据,比如我们要添加一百万条数据,应该如何提高它的效率呢 ...

  2. C# OracleBulkCopy 批量插入oracle数据库的方法

    只有安装了oracle 11G客户端的机器上才可以用,要用到ODP.NET组件中的oracleDataAccess.DLL,命名空间引用为Oracle.DataAccess.Client; 引用:Or ...

  3. .net批量插入SqlServer数据库的方法:

    using System;using System.Collections.Generic;using System.Configuration;using System.Data;using Sys ...

  4. 【hibernate 执行方法未插入数据库】hibernate的save方法成功执行,但是未插入到数据库

    今天做项目,碰上这个问题: hibernate的save方法成功执行,但是未插入到数据库. Dao层代码: @Override public void save(T t) { this.getSess ...

  5. 批量插入数据, 将DataTable里的数据批量写入数据库的方法

    大量数据导入操作, 也就是直接将DataTable里的内容写入到数据库 通用方法: 拼接Insert语句, 好土鳖 1. MS Sql Server:   使用SqlBulkCopy 2. MySql ...

  6. Excel导入数据库百万级数据瞬间插入

    Excel导入数据库百万级数据瞬间插入 百万级别,瞬间,有点吊哇

  7. [转] JAVA读取excel数据(插入oracle数据库)

    原文地址:http://blog.csdn.net/zczzsq/article/details/16803349 本实例做的是读取execl(只能读取.xls的execl,即只能读取03版的),如果 ...

  8. 30多条mysql数据库优化方法,千万级数据库记录查询轻松解决(转载)

    1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索 ...

  9. JDBC-ODBC桥接方法连接Excel数据库的方法

    通过JDBC-ODBC桥接器访问Excel电子表格 1.设置数据源 Excel数据源选择的驱动程序是Microsoft Excel Driver 2.选择表 与访问其他数据库不同的是,我们必须在电子表 ...

随机推荐

  1. ABBYY FineReader 15 文档转换功能

    我们平常工作的时候总会固定地只用某几个文档格式,有的人经常使用office,所以电脑内就没安装PDF阅读器,这个时候就需要文档转换器了,ABBYY FineReader 15 也能够帮助我们实现快速的 ...

  2. CorelDRAW不同选择工具的作用及用法汇总

    在CorelDRAW中,"选择工具"是我们的好助手之一."选择工具"图标位于CDR界面左边的工具箱中.使用鼠标单击图标右下角的小三角,我们可以看到"选 ...

  3. Ubuntu无法telnet

    1.Ubuntu无法telnet的原因 (1)/etc/hosts被修改过 (2)防火墙没有关闭 (3)没有安装相关服务 (4)/etc/inetd.conf文件没有telnet相关内容 2.解决办法 ...

  4. python中eval()和json.loads的区别

    一.最近在写接口测试脚本时,发现当读取Excel用例时,有时候要用eval,有时候又要用json.loads,不知道区别,只能换一下就可以用了,不知道其中的原理,特地百度了下.于是就记录了下,以便后续 ...

  5. 【JVM】jdk1.8移除方法区与metaspace

    转载:https://blog.csdn.net/aa747604141/article/details/52673582 https://www.jianshu.com/p/a6f19189ec62

  6. synchronized的底层原理?

    最近更新的XX必备系列适合直接背答案,不深究,不喜勿喷. 你能说简单说一下synchronize吗? 可别真简单一句话就说完了呀~ 参考回答: synchronize是java中的关键字,可以用来修饰 ...

  7. JZOJ2020年8月11日提高组T1 密码

    JZOJ2020年8月11日提高组T1 密码 题目 Description 在浩浩茫茫的苍穹深处,住着上帝和他的神仆们,他们闲谈着下界的凡人俗事,对人世间表现的聪明智慧,大加赞赏.今天他们正在观赏大地 ...

  8. JZOJ2020年10月5日提高B组反思

    2020年10月5日提高B组反思 T1 考试的时候想简单了 觉得把跟没有攻占的点相连的边留下就可以了 没有考虑到最小 WA&RE 10 T2 没有思路 就直接从中间往后枚举分解处 蜜汁错误 W ...

  9. Netty 搭建 WebSocket 服务端

    一.编码器.解码器 ... ... @Autowired private HttpRequestHandler httpRequestHandler; @Autowired private TextW ...

  10. 第7.4节 Python中与众不同的类

    一.    引言 在较旧的Python版本中,类型和类之间泾渭分明:内置对象是基于类型的,而自定义对象是基于类的.因此,你可以创建类,但不能创建类型.在较新的Python 2版本中,这种差别不那么明显 ...