使用迭代器模式批量获得数据(C#实现)
先说一下项目的背景,以前曾经做过一个项目,根据Excel中的数据批量的到网页上抓取数据,将抓取到的数据批量的回填到Excel中。这个Excel中有很多行的记录(多的时候会有好几千行),每一行数据存储能在网页上查询唯一的一条数据的条件。操作网页部分使用了微软MSHTML,在这里不做多余的介绍。这里主要讲的是如何获得最后的查询结果,并把结果填写回Excel的部分。
这个听起来好像很简单,最简单的方法就是在网页中没查询出一条数据,就将该数据存储到内存中的一个List或DataTable中,等执行完成后,从内存中获取数据填写到Excel中。但这有一个问题,在执行的过程中系统可能由于升级被迫重启。而且执行的过程通常比较长,用户不可能一直盯着屏幕看,所以如果将数据存储到内存中,容易在最后丢失先前的执行结果。这样虽然用户可以重新执行数据抓取的过程,但那又要浪费很多的时间来执行,有的时候甚至可能让用户错过任务的Deadline!我的实现方案是每次将获取的数据存储到数据库中,在数据库中记录查询的条件和查询的结果,在最后执行完成后批量的从数据库中获取数据,同步到Excel中。这样既可以在最大程度上保证获取的结果不丢失,又可以在最大限度的保证系统的性能(相比较与每次将结果直接写入到Excel中)。
那如何从数据库中获取数据呢?最简单的方法就是循环Excel中的每条数据,到数据库中获取记录,但很显然这样的效率非常低,需要多次访问数据库。在这种方法的基础上可以更近一步,就是在最后动态拼出一个Sql,类似于
select * from 查询结果表
where 查询条件 in ('查询条件1','查询条件2'...)
但是有一个问题,很多数据库(SqlServer、Oracle)在In中可以使用的条件数都有一个限制,都是1000条,其它的数据库可能也有一些类似的限制。那么一旦Excel中的数据超过1000条,该sql就会报错。所以要想使用该方法,就要根据Excel数据的行数,对数据动态的分组,每1000条为1组。然后循环每一组,根据每一组数据动态拼出一个sql,提交到数据库,最后将查询的结果合并。举一个具体的例子吧,假设有1005条数据,那么就需要将数据分成2组,第1~1000条为一组,第1001到1005为一组,将这2组数据分别到数据库中查询。如果仅仅是这样到也不是不能接受,但在获取的过程中还要考虑另外一个问题,那就是有些数据可能在数据库中没有对应的记录,这个时候要向用户做出提示。之所以会出现这种情况的原因是,从网页获取数据的时候,网页可能会出现各种问题,从而导致数据抓取失败。用户必须手动的将网页复位,并将之前获取过的数据从Excel删除,再重新开始执行才可以继续,这样就会有删错的风险,就可能在最后同步数据的时候出现数据库中没有Excel对应数据的情况。
如果按照这种方法来实现,那么最后的实现大概类似于以下代码
var 分组数=Math.Cell(Excel数据数/1000); for(int i=;i<分组数;i++)
{
List<string> 分组数据=获得分组的数据;
根据分组数据拼sql;
执行sql
根据分组数据查询结果集
如果在结果集中没有查询到数据,将错误信息记录到Excel中
将获取数据同步到Excel中 }
这样做的结果把循环Excel获取数据的逻辑和同步Excel(实际同步Excel的代码还是比较复杂的,这里只是为了简化问题,而让这部分逻辑看起来比较简单)的逻辑混合到了一起,不但代码看上去比较乱,而且也不容易对这一段代码做单元测试。要想解决这个问题,就是把循环逻辑分离出来,23种设计模式刚好有一种可以解决这个问题,那就是迭代器模式。这个模式的标准实现方式如下
这个我就不介绍了,网上有很多的介绍,但实现这个模式需要多个类的协作,虽然可以实现逻辑的分离,但开发量还是比较大的。在实际项目中我使用了该模式在.net下的一个变体,利用了.net的yield关键字来实现迭代器。代码大致如下
/// <summary>
/// 获得迭代器
/// </summary>
/// <param name="dataSource"></param>
/// <param name="batchLoadSize">批量加载大小</param>
/// <param name="loadDataCallBack">加载数据回调,第一个参数为要加载的数据源,返回实际数据</param>
/// <param name="getTargetDataBySourceDataCallBack">根据数据源获得已经加载完成的对象</param>
/// <returns></returns>
public IEnumerable<KeyValuePair<TSource,TTarget>> GetEnumerable(IList<TSource> dataSource, int batchLoadSize, Func<IList<TSource>, IList<TTarget>> loadDataCallBack,Func<TSource,IList<TTarget>,TTarget> getTargetDataBySourceDataCallBack)
{
int beginIndex = ;
while (true)
{
List<TSource> loadSourceData = new List<TSource>();
int i;
//循环获取要批量加载的数据
for( i=;i<batchLoadSize&&i+beginIndex<dataSource.Count;i++)
{
loadSourceData.Add(dataSource[beginIndex+i]);
}
//从数据库中加载数据
IList<TTarget> targetDataList = loadDataCallBack(loadSourceData);
//获得一个源数据与目标数据的键值对
foreach (var source in loadSourceData)
{
TTarget target= getTargetDataBySourceDataCallBack(source, targetDataList);
KeyValuePair<TSource, TTarget> sourceTargetKeyPair = new KeyValuePair<TSource, TTarget>(source,target);
yield return sourceTargetKeyPair;
} beginIndex += i;
//如果已经循环到最后一组,退出循环
if (beginIndex>=dataSource.Count)
{
break;
}
}
}
对该迭代器的调用方法如下
foreach(Excel数据与查询结果 in new BatchLoadEnumerable<TSource,TTarget>().GetEnumerable(Excel数据,,加载数据的委托,根据Excel数据从加载结果中查询数据的委托))
{
if(Excel数据与查询结果.查询结果==null)
{记录查询错误
continue;
}
同步数据
}
使用该方法后,循环的逻辑与同步数据的完全分离,不但代码看上去更近简洁,而且也更容易做单元测试。我对该迭代器做了通用化的处理,只要更换加载数据与根据原始数据在结果集中查询数据的委托就可以在不同的业务场景中使用,希望也会对大家有所帮助。
使用迭代器模式批量获得数据(C#实现)的更多相关文章
- 深入浅出设计模式——迭代器模式(Iterator Pattern)
模式动机 一个聚合对象,如一个列表(List)或者一个集合(Set),应该提供一种方法来让别人可以访问它的元素,而又不需要暴露它的内部结构.针对不同的需要,可能还要以不同的方式遍历整个聚合对象,但是我 ...
- iOS开发-迭代器模式
迭代器模式(Iterator),提供一种方法顺序访问一个聚合对象中的各种元素,而又不暴露该对象的内部表示.开发过程中,我们可能需要针对不同的需求,可能需要以不同的方式来遍历整个整合对象,但是我们不希望 ...
- Javascript设计模式之我见:迭代器模式
大家好!本文介绍迭代器模式及其在Javascript中的应用. 模式介绍 定义 提供一种方法顺序一个聚合对象中各个元素,而又不暴露该对象内部表示. 类图及说明 Iterator抽象迭代器 抽象迭代器负 ...
- 【设计模式 - 16】之迭代器模式(Iterator)
1 模式简介 迭代器模式是JAVA中非常常用的模式,List.Map.Set等常见集合中都封装了迭代器Iterator. 迭代器模式的介绍: 迭代器模式用于顺序访问集合对象中的元素,而不需要 ...
- 设计模式(十五):Iterator迭代器模式 -- 行为型模式
1.概述 类中的面向对象编程封装应用逻辑.类,就是实例化的对象,每个单独的对象都有一个特定的身份和状态.单独的对象是一种组织代码的有用方法,但通常你会处理一组对象或者集合. 集合不一定是均一的.图形用 ...
- 设计模式 ( 十四 ) 迭代器模式Iterator(对象行为型)
设计模式 ( 十四 ) 迭代器模式Iterator(对象行为型) 1.概述 类中的面向对象编程封装应用逻辑.类,就是实例化的对象,每个单独的对象都有一个特定的身份和状态.单独的对象是一种组织代码的 ...
- Head First设计模式之迭代器模式
一.定义 提供一种方法顺序访问一个聚合对象中各个元素, 而又无须暴露该对象的内部表示: 主要解决:不同的方式来遍历整个整合对象. 何时使用:遍历一个聚合对象. 如何解决:把在元素之间游走的责任交给迭代 ...
- Java进阶篇设计模式之九----- 解释器模式和迭代器模式
前言 在上一篇中我们学习了行为型模式的责任链模式(Chain of Responsibility Pattern)和命令模式(Command Pattern).本篇则来学习下行为型模式的两个模式, 解 ...
- 设计模式之迭代器模式——Java语言描述
迭代器模式是Java和.NET编程环境中非常常用的设计模式.这种模式用于顺序访问集合对象的元素,不需要知道集合对象的底层表示 介绍 意图 提供一种方法顺序访问一个聚合对象中各个元素,无需暴露该对象的内 ...
随机推荐
- Chisel3 - model - Builder
https://mp.weixin.qq.com/s/THqyhoLbbuXXAtdQXRQDdA 介绍构建硬件模型的Builder. 1. DynamicContext 动态上下文 ...
- 【Hadoop】Hadoop的安装,本地模式、伪分布模式的配置
Download hadoop-2.7.7.tar.gz 下载稳定版本的hadoop-2.7.7.tar.gz(我用的2.6.0,但是官网只能下载2.7.7的了) Required Software ...
- 判断IP地址的合法性
每台计算机都有独一无二的编号,称为ip地址,每个合法的ip地址由‘.’分隔开的4个数字组成,每个数字的取值范围为0--255 输入一个字符串,判断其是否为合法的IP地址,若是输出‘YES’,否则输出‘ ...
- Java实现ACMGoShopping
ACMGoShopping Description 最近的YJ运气特别好,这不,他在路边摊买彩票,居然中了大奖.秉着见者有份的原则,他准备请咱们学校ACM训练基地的全体队员逛商场. 赶巧学校旁边有一家 ...
- Java实现 LeetCode 54 螺旋矩阵
54. 螺旋矩阵 给定一个包含 m x n 个元素的矩阵(m 行, n 列),请按照顺时针螺旋顺序,返回矩阵中的所有元素. 示例 1: 输入: [ [ 1, 2, 3 ], [ 4, 5, 6 ], ...
- Java实现 LeetCode 18 四数之和
18. 四数之和 给定一个包含 n 个整数的数组 nums 和一个目标值 target,判断 nums 中是否存在四个元素 a,b,c 和 d ,使得 a + b + c + d 的值与 target ...
- Java实现BFS广度优先查找
1 问题描述 广度优先查找(Breadth-first Search,BFS)按照一种同心圆的方式,首先访问所有和初始顶点邻接的顶点,然后是离它两条边的所有未访问顶点,以此类推,直到所有与初始顶点同在 ...
- java实现第四届蓝桥杯公式求值
公式求值 输入n, m, k,输出图1所示的公式的值.其中C_n^m是组合数,表示在n个人的集合中选出m个人组成一个集合的方案数.组合数的计算公式如图2所示. 输入的第一行包含一个整数n:第二行包含一 ...
- IDEA2020年激活码
若出现无法使用,激活失败的情况,可以关注公众号:凌晨四点的程序员,回复消息"IDEA"持续更新最新激活码 2020年05月26更新(2020年6月份) OI7FTW2137-eyJ ...
- 百度编辑器UEditor不能插入视频的解决方法
在编辑器中就可以引用优酷.腾讯视频的iframe通用代码和embed html代码:移动端一般引用iframe,可设置属性,使其适应设备.(这里,建议切换到源码模式,插入相应的视频代码embed或if ...