本文为 Dennis Gao 原创技术文章,发表于博客园博客,未经作者本人允许禁止任何形式的转载。

前言

很显然,你应该不至于使用 EntityFramework 直接插入 10W 数据到数据库中,那可能得用上个几分钟。EntityFramework 最被人诟病的地方就是它的性能,处理大量数据时的效率。此种条件下,通常会转回使用 ADO.NET 来完成任务。

但是,如果已经在项目中使用了 EntityFramework,如果碰到需要直接向数据库中插入 10W 的数据的需求,引入 ADO.NET 和 SqlBulkCopy 的组合将打破 EntityFramework 作为 ORM 所带来的优势,我们不得不再次去编写那些 SQL 语句,关注表结构的细节,相应的代码可维护性也在下降。

那么,假设我们将 SqlBulkCopy 的功能封装为 EntityFramework 中的一个扩展方法,通过接口像外暴露 BulkInsert 方法。这样,我们既没有改变使用 EntityFramework 的习惯,同时也隐藏了 SqlBulkCopy 的代码细节,更重要的是,合理的封装演进出复用的可能性,可以在多个 Entity 表中使用。

环境准备

以下测试基于 EntityFramework 6.0.2 版本。

首先定义一个 Customer 类:

   public class Customer
{
public long Id { get; set; }
public string Name { get; set; }
public string Address { get; set; }
public string Phone { get; set; }
}

通过 CustomerMap 类将 Entity 映射到数据库表结构:

   public class CustomerMap : EntityTypeConfiguration<Customer>
{
public CustomerMap()
{
// Primary Key
this.HasKey(t => t.Id); // Properties
this.Property(t => t.Name)
.IsRequired()
.HasMaxLength(); this.Property(t => t.Phone)
.IsRequired()
.HasMaxLength(); // Table & Column Mappings
this.ToTable("Customer", "STORE");
this.Property(t => t.Id).HasColumnName("Id");
this.Property(t => t.Name).HasColumnName("Name");
this.Property(t => t.Address).HasColumnName("Address");
this.Property(t => t.Phone).HasColumnName("Phone");
}
}

我们定义数据库的名字为 “Retail”,则使用 RetailEntities 类来实现 DbContext :

   public class RetailEntities : DbContext
{
static RetailEntities()
{
Database.SetInitializer<RetailEntities>(
new DropCreateDatabaseAlways<RetailEntities>());
} public RetailEntities()
: base("Name=RetailEntities")
{
} public DbSet<Customer> Customers { get; set; } protected override void OnModelCreating(DbModelBuilder modelBuilder)
{
modelBuilder.Configurations.Add(new CustomerMap());
}
}

将 DatabaseInitializer 设置为 DropCreateDatabaseAlways,这样我们可以保证每次都针对新表进行测试。

如果需要更复杂的模型,我们将基于如下的模型进行测试:

测试主机

数据库:Microsoft SQL Server 2012 (64-bit)

EntityFramework 插入 10W 数据需要多久

我们先来看下EntityFramework 插入 10W 数据需要多久。

构造 10W 个 Customer 实例:

       int customerCount = ;

       List<Customer> customers = new List<Customer>();
for (int i = ; i < customerCount; i++)
{
Customer customer = new Customer()
{
Name = "Dennis Gao" + i,
Address = "Beijing" + i,
Phone = "" + i,
};
customers.Add(customer); Console.Write(".");
}

使用如下语法来将上面构造的 10W 数据保存到数据库中:

         using (RetailEntities context = new RetailEntities())
{
foreach (var entity in customers)
{
context.Customers.Add(entity);
}
context.SaveChanges();
}

通过 context.SaveChanges() 来保证一次事务提交。

为了计算使用时间,在上面代码的前后加上 Stopwatch 来计算:

         Stopwatch watch = Stopwatch.StartNew();

         using (RetailEntities context = new RetailEntities())
{
foreach (var entity in customers)
{
context.Customers.Add(entity);
}
context.SaveChanges();
} watch.Stop();
Console.WriteLine(string.Format(
"{0} customers are created, cost {1} milliseconds.",
customerCount, watch.ElapsedMilliseconds));

然后运行,

好吧,我应该没有耐心等待它运行完。

现在减少数据量进行测试,将数据数量降低到 500 条,

空表插入500 条数据耗时 5652 毫秒。我多测了几遍,这个数据稳定在 5 秒以上。

将数据量改变到 1000 条,

将数据量改变到 1500 条,

将数据量改变到 10000 条,

那么我们估计下 10W 数据大概需要 10W / 500 * 2 = 至少 400 秒 = 至少 6 分钟。

好吧,慢是毋庸置疑的。

SqlBulkCopy 接口描述

Microsoft SQL Server 提供一个称为 bcp 的流行的命令提示符实用工具,用于将数据从一个表移动到另一个表(表既可以在同一个服务器上,也可以在不同服务器上)。 SqlBulkCopy 类允许编写提供类似功能的托管代码解决方案。 还有其他将数据加载到 SQL Server 表的方法(例如 INSERT 语句),但相比之下 SqlBulkCopy 提供明显的性能优势。

使用 SqlBulkCopy 类只能向 SQL Server 表写入数据。 但是,数据源不限于 SQL Server;可以使用任何数据源,只要数据可加载到 DataTable 实例或可使用 IDataReader 实例读取数据。

WriteToServer(DataRow[]) 将所提供的 DataRow 数组中的所有行复制到 SqlBulkCopy 对象的 DestinationTableName 属性指定的目标表中。
WriteToServer(DataTable) 将所提供的 DataTable 中的所有行复制到 SqlBulkCopy 对象的 DestinationTableName 属性指定的目标表中。
WriteToServer(IDataReader) 将所提供的 IDataReader 中的所有行复制到 SqlBulkCopy 对象的 DestinationTableName 属性指定的目标表中。
WriteToServer(DataTable, DataRowState) 只将与所提供 DataTable 中所提供行状态匹配的行复制到 SqlBulkCopy 对象的 DestinationTableName 属性指定的目标表中。

在 .NET 4.5 中还提供了支持 async 语法的接口。

WriteToServerAsync(DataRow[]) WriteToServer 的异步版本,将 DataRow 数组中提供的所有行都复制到由 SqlBulkCopy 对象的 DestinationTableName 属性指定的目标表中。
WriteToServerAsync(DataTable) WriteToServer 的异步版本,将 DataTable 中提供的所有行都复制到 SqlBulkCopy 对象的 DestinationTableName 属性指定的目标表中。
WriteToServerAsync(IDataReader) WriteToServer 的异步版本,将 IDataReader 中提供的所有行都复制到 SqlBulkCopy 对象的 DestinationTableName 属性指定的目标表中。
WriteToServerAsync(DataRow[], CancellationToken) WriteToServer 的异步版本,将 DataRow 数组中提供的所有行都复制到由 SqlBulkCopy 对象的 DestinationTableName 属性指定的目标表中。取消标记可用于在命令超时超过前请求放弃操作。通过返回的任务对象将报告异常。
WriteToServerAsync(DataTable, DataRowState) WriteToServer 的异步版本,之间与 DataTable 中所提供行状态匹配的行复制到 SqlBulkCopy 对象的 DestinationTableName 属性中指定的目标表中。
WriteToServerAsync(DataTable, CancellationToken) WriteToServer 的异步版本,将 DataTable 中提供的所有行都复制到 SqlBulkCopy 对象的 DestinationTableName 属性指定的目标表中。取消标记可用于在命令超时超过前请求放弃操作。通过返回的任务对象将报告异常。
WriteToServerAsync(IDataReader, CancellationToken) WriteToServer 的异步版本,将 IDataReader 中提供的所有行都复制到 SqlBulkCopy 对象的 DestinationTableName 属性指定的目标表中。取消标记可用于在命令超时超过前请求放弃操作。通过返回的任务对象将报告异常。
WriteToServerAsync(DataTable, DataRowState, CancellationToken) WriteToServer 的异步版本,之间与 DataTable 中所提供行状态匹配的行复制到 SqlBulkCopy 对象的 DestinationTableName 属性中指定的目标表中。取消标记可用于在命令超时超过前请求放弃操作。通过返回的任务对象将报告异常。

这里,我们选用 DataTable 来构建数据源,将 10W 数据导入 DataTable 中。可以看出,我们需要构建出给定 Entity 类型所对应的数据表的 DataTable,将所有的 entities 数据插入到 DataTable 中。

构建 TableMapping 映射

此时,我并不想手工书写表中的各字段名称,同时,我可能甚至都不想关心 Entity 类到底被映射到了数据库中的哪一张表上。

此处,我们定义一个 TableMapping 类,用于存储一张数据库表的映射信息。

在获取和生成 TableMapping 之前,我们需要先定义和获取 DbMapping 类。

 internal class DbMapping
{
public DbMapping(DbContext context)
{
_context = context; var objectContext = ((IObjectContextAdapter)context).ObjectContext;
_metadataWorkspace = objectContext.MetadataWorkspace; _codeFirstEntityContainer = _metadataWorkspace.GetEntityContainer("CodeFirstDatabase", DataSpace.SSpace); MapDb();
}
}

通过读取 CodeFirstEntityContainer 中的元数据,我们可以获取到指定数据库中的所有表的信息。

     private void MapDb()
{
ExtractTableColumnEdmMembers(); List<EntityType> tables =
_metadataWorkspace
.GetItems(DataSpace.OCSpace)
.Select(x => x.GetPrivateFieldValue("EdmItem") as EntityType)
.Where(x => x != null)
.ToList(); foreach (var table in tables)
{
MapTable(table);
}
}

进而,根据表映射类型的定义,可以获取到表中字段的映射信息。

     private void MapTable(EntityType tableEdmType)
{
string identity = tableEdmType.FullName;
EdmType baseEdmType = tableEdmType;
EntitySet storageEntitySet = null; while (!_codeFirstEntityContainer.TryGetEntitySetByName(baseEdmType.Name, false, out storageEntitySet))
{
if (baseEdmType.BaseType == null) break;
baseEdmType = baseEdmType.BaseType;
}
if (storageEntitySet == null) return; var tableName = (string)storageEntitySet.MetadataProperties["Table"].Value;
var schemaName = (string)storageEntitySet.MetadataProperties["Schema"].Value; var tableMapping = new TableMapping(identity, schemaName, tableName);
_tableMappings.Add(identity, tableMapping);
_primaryKeysMapping.Add(identity, storageEntitySet.ElementType.KeyMembers.Select(x => x.Name).ToList()); foreach (var prop in storageEntitySet.ElementType.Properties)
{
MapColumn(identity, _tableMappings[identity], prop);
}
}

然后,可以将表信息和字段信息存放到 TableMapping 和 ColumnMapping 当中。

internal class TableMapping
{
public string TableTypeFullName { get; private set; }
public string SchemaName { get; private set; }
public string TableName { get; private set; } public ColumnMapping[] Columns
{
get { return _columnMappings.Values.ToArray(); }
}
}

构建 DataTable 数据

终于,有了 TableMapping 映射之后,我们可以开始创建 DataTable 了。

     private static DataTable BuildDataTable<T>(TableMapping tableMapping)
{
var entityType = typeof(T);
string tableName = string.Join(@".", tableMapping.SchemaName, tableMapping.TableName); var dataTable = new DataTable(tableName);
var primaryKeys = new List<DataColumn>(); foreach (var columnMapping in tableMapping.Columns)
{
var propertyInfo = entityType.GetProperty(columnMapping.PropertyName, '.');
columnMapping.Type = propertyInfo.PropertyType; var dataColumn = new DataColumn(columnMapping.ColumnName); Type dataType;
if (propertyInfo.PropertyType.IsNullable(out dataType))
{
dataColumn.DataType = dataType;
dataColumn.AllowDBNull = true;
}
else
{
dataColumn.DataType = propertyInfo.PropertyType;
dataColumn.AllowDBNull = columnMapping.Nullable;
} if (columnMapping.IsIdentity)
{
dataColumn.Unique = true;
if (propertyInfo.PropertyType == typeof(int)
|| propertyInfo.PropertyType == typeof(long))
{
dataColumn.AutoIncrement = true;
}
else continue;
}
else
{
dataColumn.DefaultValue = columnMapping.DefaultValue;
} if (propertyInfo.PropertyType == typeof(string))
{
dataColumn.MaxLength = columnMapping.MaxLength;
} if (columnMapping.IsPk)
{
primaryKeys.Add(dataColumn);
} dataTable.Columns.Add(dataColumn);
} dataTable.PrimaryKey = primaryKeys.ToArray(); return dataTable;
}

通过 Schema 名称和表名称来构建指定 Entity 类型的 DataTable 对象。

然后将,entities 数据列表中的数据导入到 DataTable 对象之中。

     private static DataTable CreateDataTable<T>(TableMapping tableMapping, IEnumerable<T> entities)
{
var dataTable = BuildDataTable<T>(tableMapping); foreach (var entity in entities)
{
DataRow row = dataTable.NewRow(); foreach (var columnMapping in tableMapping.Columns)
{
var @value = entity.GetPropertyValue(columnMapping.PropertyName); if (columnMapping.IsIdentity) continue; if (@value == null)
{
row[columnMapping.ColumnName] = DBNull.Value;
}
else
{
row[columnMapping.ColumnName] = @value;
}
} dataTable.Rows.Add(row);
} return dataTable;
}

SqlBulkCopy 导入数据

终于,数据源准备好了。然后使用如下代码结构,调用 WriteToServer 方法,将数据写入数据库。

1       using (DataTable dataTable = CreateDataTable(tableMapping, entities))
2 {
3 using (SqlBulkCopy sqlBulkCopy = new SqlBulkCopy(transaction.Connection, options, transaction))
4 {
5 sqlBulkCopy.BatchSize = batchSize;
6 sqlBulkCopy.DestinationTableName = dataTable.TableName;
7 sqlBulkCopy.WriteToServer(dataTable);
8 }
9 }

看下保存 500 数据的效果,用时 1.9 秒。

看下保存 1W 数据的效果,用时 2.1 秒。

看下保存 10W 数据的效果,用时 7.5 秒。

再试下 100W 数据的效果,用时 27 秒。

封装 BulkInsert 扩展方法

我们可以为 DbContext 添加一个 BulkInsert 扩展方法。

   internal static class DbContextBulkOperationExtensions
{
public const int DefaultBatchSize = ; public static void BulkInsert<T>(this DbContext context, IEnumerable<T> entities, int batchSize = DefaultBatchSize)
{
var provider = new BulkOperationProvider(context);
provider.Insert(entities, batchSize);
}
}

IBulkableRepository 接口

在下面两篇文章中,我介绍了精炼的 IRepository 接口。

 public interface IRepository<T>
where T : class
{
IQueryable<T> Query();
void Insert(T entity);
void Update(T entity);
void Delete(T entity);
}

当我们需要扩展 BulkInsert 功能时,可以通过继承来完成功能扩展。

 public interface IBulkableRepository<T> : IRepository<T>
where T : class
{
void BulkInsert(IEnumberable<T> entities);
}

这样,我们就可以使用很自然的方式直接使用 BulkInsert 功能了。

代码在哪里

代码在这里:

参考资料

本文为 Dennis Gao 原创技术文章,发表于博客园博客,未经作者本人允许禁止任何形式的转载。

EntityFramework 中支持 BulkInsert 扩展的更多相关文章

  1. EntityFramework中支持BulkInsert扩展

    EntityFramework中支持BulkInsert扩展 本文为 Dennis Gao 原创技术文章,发表于博客园博客,未经作者本人允许禁止任何形式的转载. 前言 很显然,你应该不至于使用 Ent ...

  2. EntityFramework中支持BulkInsert扩展(转载)

    前言 很显然,你应该不至于使用 EntityFramework 直接插入 10W 数据到数据库中,那可能得用上个几分钟.EntityFramework 最被人诟病的地方就是它的性能,处理大量数据时的效 ...

  3. C# Webservice 解决在运行配置文件中指定的扩展时出现异常。 ---> System.Web.HttpException: 超过了最大请求长度问

    摘自: http://blog.csdn.net/gulijiang2008/article/details/4482993 请在服务器端配置 方法一: 在通过WebService处理大数据量数据时出 ...

  4. 在 Windows Azure 网站中进行纵向扩展和横向扩展

    编辑人员注释:本文章由 Windows Azure 网站团队的项目经理 Byron Tardif 撰写. 当您开始一个新的 Web 项目,或者刚刚开始开发一般的网站和应用程序时,您可能希望从小处着手. ...

  5. 浅析Thinkphp框架中运用phprpc扩展模式

    浅析Thinkphp框架中应用phprpc扩展模式 这次的项目舍弃了原来使用Axis2做web服务端的 方案,改用phprpc实现,其一是服务端的thinkphp已集成有该模式接口,其二是phprpc ...

  6. MySQL中的空间扩展

    目录 19.1. 前言 19.2. OpenGIS几何模型 19.2.1. Geometry类的层次 19.2.2. 类Geometry 19.2.3. 类Point 19.2.4. 类Curve 1 ...

  7. Bash中的数学扩展

    Bash只支持整数运算,不支持浮点运算.如果需要进行浮点运算,需要使用bc程序.Bash中的数学扩展有两种形式:$[ expression ]或$(( expression )) 例子:$echo $ ...

  8. 让IIS6支持任意扩展名和未知扩展名的下载

    IIS6的安全性提高了很多,为了防止扩展名欺骗带来的安全性问题,限制了扩展名MIME类型. IIS6 只为对具有已知文件扩展名的文件的请求提供服务.如果请求内容的文件扩展名未映射到已知的扩展,则服务器 ...

  9. SpreadJS 在 Angular2 中支持哪些事件?

    SpreadJS 纯前端表格控件是基于 HTML5 的 JavaScript 电子表格和网格功能控件,提供了完备的公式引擎.排序.过滤.输入控件.数据可视化.Excel 导入/导出等功能,适用于 .N ...

随机推荐

  1. java并发编程-读写锁

    最近项目中需要用到读写锁 读写锁适用于读操作多,写操作少的场景,假设你的程序中涉及到对一些共享资源的读和写操作,且写操作没有读操作那么频繁.在没有写操作的时候,两个线程同时读一个资源没有任何问题,所以 ...

  2. 最小生成树(HDOJ 1863)

    畅通工程 http://acm.hdu.edu.cn/showproblem.php?pid=1863 1.Prim算法: Prim算法是由一个点(最初的集合)向外延伸,找到与集合相连权值最小的边, ...

  3. Eclipse相关设置

    eclipse 默认设置的换行长度, 格式化代码后,同一个方法里面参数也经常被,换行,非常难看. 1.Java代码打开Eclipse的Window菜单,然后 Preferences->Java- ...

  4. 详解log4j2(上) - 从基础到实战

    log4j2相对于log4j 1.x有了脱胎换骨的变化,其官网宣称的优势有多线程下10几倍于log4j 1.x和logback的高吞吐量.可配置的审计型日志.基于插件架构的各种灵活配置等.如果已经掌握 ...

  5. ORA-12505 错误解决

     在Fedora下安装了Oracle 10gR2,安装完成之后,使用netca创建了监听,创建的时候没有使用默认的LISTENER和1521端口,而是使用了LISTENER_DELL和1522端口,终 ...

  6. Linux网络编程-readn函数、writen函数、readline函数实现

    readn函数功能:在网络编程的读取数据中,通常会需要用到一个读指定字节才返回的函数,linux系统调用中没有给出,需要自己封装. readn实现代码: int readn(int fd, void ...

  7. .NET Remoting原理及应用实例:

    Remoting:(本文摘自百度百科) 简介:        什么是Remoting,简而言之,我们可以将其看作是一种分布式处理方 式.从微软的产品角度来看,可以说Remoting就是DCOM的一种升 ...

  8. 使用VS,获取SQL SERVER 的链接字符串

    在VS中→工具→链接到数据库→(选择数据源,这里要链接的是SQL server)Microsoft SQL Server→服务器名字(不知道的可以在登陆SQL server的时候,把服务器名字复制过来 ...

  9. 关于git-Git 分支管理和冲突解决

    创建分支 git branch 没有参数,显示本地版本库中所有的本地分支名称. 当前检出分支的前面会有星号. git branch newname 在当前检出分支上新建分支,名叫newname. gi ...

  10. [VBS脚本]定时提示并关闭计算机

    一.Natalia.bat 双击这个文件可以运行Natalia 控制台在打开后会变成最小化,标题为PowerAssistant,黑色背景淡绿色文字 运行脚本Natalia.vbs @ECHO OFF ...