C# 海量数据瞬间插入到数据库的方法

当我们在数据库中进行大量的数据追加时,是不是经常因为数据量过大而苦恼呢?
而所谓的海量数据,一般也是上万级的数据,比如我们要添加一百万条数据,应该如何提高它的效率呢?

Oracle数据库:

普通肉垫式

什么叫批量插入呢,就是一次性插入一批数据,我们可以把这批数据理解为一个大的数组,而这些全部只通过一个SQL来实现,而在传统方式下,需要调用很多次的SQL才可以完成,这就是著名的“数组绑定”的功能。我们先来看一下传统方式下,插入多行记录的操作方式:

 1 //设置一个数据库的连接串,
2 string connectStr = "User Id=scott;Password=tiger;Data Source=";
3 OracleConnection conn = new OracleConnection(connectStr);
4 OracleCommand command = new OracleCommand();
5 command.Connection = conn;
6 conn.Open();
7 //通过循环写入大量的数据,这种方法显然是肉垫
8 for (int i = 0; i < recc; i++)
9 {
10 string sql = "insert into dept values(" + i.ToString() + "," + i.ToString() + "," + i.ToString() + ")";
11 command.CommandText = sql;
12 command.ExecuteNonQuery();
13 }

使用ODP特性

 1 //设置一个数据库的连接串
2 string connectStr = "User Id=scott;Password=tiger;Data Source=";
3 OracleConnection conn = new OracleConnection(connectStr);
4 OracleCommand command = new OracleCommand();
5 command.Connection = conn;
6 //到此为止,还都是我们熟悉的代码,下面就要开始喽
7 //这个参数需要指定每次批插入的记录数
8 command.ArrayBindCount = recc;
9 //在这个命令行中,用到了参数,参数我们很熟悉,但是这个参数在传值的时候
10 //用到的是数组,而不是单个的值,这就是它独特的地方
11 command.CommandText = "insert into dept values(:deptno, :deptname, :loc)";
12 conn.Open();
13 //下面定义几个数组,分别表示三个字段,数组的长度由参数直接给出
14 int[] deptNo = new int[recc];
15 string[] dname = new string[recc];
16 string[] loc = new string[recc];
17 // 为了传递参数,不可避免的要使用参数,下面会连续定义三个
18 // 从名称可以直接看出每个参数的含义,不在每个解释了
19 OracleParameter deptNoParam = new OracleParameter("deptno", OracleDbType.Int32);
20 deptNoParam.Direction = ParameterDirection.Input;
21 deptNoParam.Value = deptNo;
22 command.Parameters.Add(deptNoParam);
23 OracleParameter deptNameParam = new OracleParameter("deptname", OracleDbType.Varchar2);
24 deptNameParam.Direction = ParameterDirection.Input;
25 deptNameParam.Value = dname; command.Parameters.Add(deptNameParam);
26 OracleParameter deptLocParam = new OracleParameter("loc", OracleDbType.Varchar2);
27 deptLocParam.Direction = ParameterDirection.Input;
28 deptLocParam.Value = loc;
29 command.Parameters.Add(deptLocParam);
30 //在下面的循环中,先把数组定义好,而不是像上面那样直接生成SQL
31 for (int i = 0; i < recc; i++)
32 {
33 deptNo[i] = i;
34 dname[i] = i.ToString();
35 loc[i] = i.ToString();
36 }
37 //这个调用将把参数数组传进SQL,同时写入数据库
38 command.ExecuteNonQuery();

当数据量达到100万级别时,所用时间依然令人满意,最快一次达到890毫秒,一般为1秒左右。

SqlServer数据库

既然Oracle可以如此爽快,那么在SqlServer中是否也可以这样做呢?
但是在SqlServer中却没有诸如ArrayBindCount 这样的操作属性。
不过,我们却可以借助于BULK INSERT来进入海量数据的添加。
代码:

 1 //设置一个数据库的连接串
2 string connectStr = "……";
3 SqlConnection conn = new SqlConnection(connectStr);
4 SqlCommand command = new SqlCommand();
5 command.CommandTimeout = 0;
6 command.Connection = conn;
7 /*说明:
8 * “c:\\sql.txt”是一个预先生成的包含100条数据的文件
9 * 每一个字段的信息以“,”分割
10 * 每一条数据以“|”符号分隔
11 * 每10万条数据一个事务。
12 */
13 command.CommandText = "BULK INSERT TableB FROM 'c:\\sql.txt' WITH (FIELDTERMINATOR = ',',ROWTERMINATOR ='|',BATCHSIZE = 100000)";
14 conn.Open();
15 //System.Data.SqlClient.SqlBulkCopy sqlBC
16 command.ExecuteNonQuery();
17
18 conn.Close();

虽然比不上Oracle那么变态,但是插入百万条数据也不过只用了几秒时间,比起我们平时的添加速度,无疑已经让人非常兴奋了吧,呵呵。

C# 海量数据瞬间插入到数据库的方法的更多相关文章

  1. C# Oracle海量数据瞬间插入到数据库的方法

    C# 海量数据瞬间插入到数据库的方法 当我们在数据库中进行大量的数据追加时,是不是经常因为数据量过大而苦恼呢?而所谓的海量数据,一般也是上万级的数据,比如我们要添加一百万条数据,应该如何提高它的效率呢 ...

  2. C# OracleBulkCopy 批量插入oracle数据库的方法

    只有安装了oracle 11G客户端的机器上才可以用,要用到ODP.NET组件中的oracleDataAccess.DLL,命名空间引用为Oracle.DataAccess.Client; 引用:Or ...

  3. .net批量插入SqlServer数据库的方法:

    using System;using System.Collections.Generic;using System.Configuration;using System.Data;using Sys ...

  4. 【hibernate 执行方法未插入数据库】hibernate的save方法成功执行,但是未插入到数据库

    今天做项目,碰上这个问题: hibernate的save方法成功执行,但是未插入到数据库. Dao层代码: @Override public void save(T t) { this.getSess ...

  5. 批量插入数据, 将DataTable里的数据批量写入数据库的方法

    大量数据导入操作, 也就是直接将DataTable里的内容写入到数据库 通用方法: 拼接Insert语句, 好土鳖 1. MS Sql Server:   使用SqlBulkCopy 2. MySql ...

  6. Excel导入数据库百万级数据瞬间插入

    Excel导入数据库百万级数据瞬间插入 百万级别,瞬间,有点吊哇

  7. [转] JAVA读取excel数据(插入oracle数据库)

    原文地址:http://blog.csdn.net/zczzsq/article/details/16803349 本实例做的是读取execl(只能读取.xls的execl,即只能读取03版的),如果 ...

  8. 30多条mysql数据库优化方法,千万级数据库记录查询轻松解决(转载)

    1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索 ...

  9. JDBC-ODBC桥接方法连接Excel数据库的方法

    通过JDBC-ODBC桥接器访问Excel电子表格 1.设置数据源 Excel数据源选择的驱动程序是Microsoft Excel Driver 2.选择表 与访问其他数据库不同的是,我们必须在电子表 ...

随机推荐

  1. 小程序后端获取openid (php实例)

    小程序获取openid 首先,小程序授权登录的时候,前端就会获取到code 而后端接收到了code之后,就可以向微信发起请求,获取用户的openid代码如下: <?php $code = $_R ...

  2. ①SpringCloud 实战:引入Eureka组件,完善服务治理

    简介 Netflix Eureka 是一款由 Netflix 开源的基于 REST 服务的注册中心,用于提供服务发现功能.Spring Cloud Eureka 是 Spring Cloud Netf ...

  3. Guitar Pro的10个非常实用的技巧(上)

    Guitar Pro 7具有许多功能和编辑选项,只需点击几下即可随时创建与编辑我们的乐谱,.以下就为大家介绍10个Guitar Pro中实用的技巧,可以大大的节省我们的时间. 在开始之前,重要的是要知 ...

  4. Guitar Pro吉他指弹入门——日式指弹的pm技巧

    在上一篇指弹的文章中,笔者向大家介绍了一下美式指弹,以及他独树一帜的三指法.那么这一期的文章,我将介绍另一个指弹界的大流派--日式指弹,日式指弹曲子向来以细腻而多变的情绪以及表达出来的艳丽色彩著称,今 ...

  5. jenkins 安装与创建项目

    一.安装1.jenkins下载地址:https://jenkins.io/zh/ 中文版2.下载下来,是msi文件,直接安装3.本地访问,localhost:8080 二.访问 如果访问不了,以下原因 ...

  6. 【性能测试】【locust】场景性能测试步骤

    场景设计 实现登陆基本功能,输出相应结果,脚本通 多用户实现随机登陆 添加初始化方法on_start: 每个用户只运行一次 添加检查点: catch_responses = True 脚本设计 # 导 ...

  7. Vue3 Teleport

    为什么需要 Teleport? 以 Dialog 组件为例,通常需要在一个组件中引入 Dialog 组件.然而,有时一部分逻辑属于 Dialog 所在的组件中,从技术角度来看,最好将这一部分移动到根节 ...

  8. Jinja2语法自动补全配置

    Jinja2语法自动补全配置 说明 在使用Pycharm社区版进行Web开发时,Jiaja2的语法是不会自动提示补全的,为了提高开发效率,需要根据个人习惯进行一些常用语法的自动补全配置,具体如下. 配 ...

  9. jvm系列(二)jvm垃圾收集器与内存分配策略

    众所周知,在java语言中,内存分配和回收是由jvm自动管理的.因此内存的分配和回收也是jvm三大功能之一.垃圾收集器(GC)需要完成三件事情: 哪些内存需要回收? 什么时候进行回收? 如何回收? 本 ...

  10. 使用react终端运行npm start时报错

    npm ERR! code ELIFECYCLE npm ERR! errno 1 npm ERR! my-app@0.1.0 start: `react-scripts start` npm ERR ...