使用迭代器模式批量获得数据(C#实现)
先说一下项目的背景,以前曾经做过一个项目,根据Excel中的数据批量的到网页上抓取数据,将抓取到的数据批量的回填到Excel中。这个Excel中有很多行的记录(多的时候会有好几千行),每一行数据存储能在网页上查询唯一的一条数据的条件。操作网页部分使用了微软MSHTML,在这里不做多余的介绍。这里主要讲的是如何获得最后的查询结果,并把结果填写回Excel的部分。
这个听起来好像很简单,最简单的方法就是在网页中没查询出一条数据,就将该数据存储到内存中的一个List或DataTable中,等执行完成后,从内存中获取数据填写到Excel中。但这有一个问题,在执行的过程中系统可能由于升级被迫重启。而且执行的过程通常比较长,用户不可能一直盯着屏幕看,所以如果将数据存储到内存中,容易在最后丢失先前的执行结果。这样虽然用户可以重新执行数据抓取的过程,但那又要浪费很多的时间来执行,有的时候甚至可能让用户错过任务的Deadline!我的实现方案是每次将获取的数据存储到数据库中,在数据库中记录查询的条件和查询的结果,在最后执行完成后批量的从数据库中获取数据,同步到Excel中。这样既可以在最大程度上保证获取的结果不丢失,又可以在最大限度的保证系统的性能(相比较与每次将结果直接写入到Excel中)。
那如何从数据库中获取数据呢?最简单的方法就是循环Excel中的每条数据,到数据库中获取记录,但很显然这样的效率非常低,需要多次访问数据库。在这种方法的基础上可以更近一步,就是在最后动态拼出一个Sql,类似于
select * from 查询结果表
where 查询条件 in ('查询条件1','查询条件2'...)
但是有一个问题,很多数据库(SqlServer、Oracle)在In中可以使用的条件数都有一个限制,都是1000条,其它的数据库可能也有一些类似的限制。那么一旦Excel中的数据超过1000条,该sql就会报错。所以要想使用该方法,就要根据Excel数据的行数,对数据动态的分组,每1000条为1组。然后循环每一组,根据每一组数据动态拼出一个sql,提交到数据库,最后将查询的结果合并。举一个具体的例子吧,假设有1005条数据,那么就需要将数据分成2组,第1~1000条为一组,第1001到1005为一组,将这2组数据分别到数据库中查询。如果仅仅是这样到也不是不能接受,但在获取的过程中还要考虑另外一个问题,那就是有些数据可能在数据库中没有对应的记录,这个时候要向用户做出提示。之所以会出现这种情况的原因是,从网页获取数据的时候,网页可能会出现各种问题,从而导致数据抓取失败。用户必须手动的将网页复位,并将之前获取过的数据从Excel删除,再重新开始执行才可以继续,这样就会有删错的风险,就可能在最后同步数据的时候出现数据库中没有Excel对应数据的情况。
如果按照这种方法来实现,那么最后的实现大概类似于以下代码
var 分组数=Math.Cell(Excel数据数/1000); for(int i=;i<分组数;i++)
{
List<string> 分组数据=获得分组的数据;
根据分组数据拼sql;
执行sql
根据分组数据查询结果集
如果在结果集中没有查询到数据,将错误信息记录到Excel中
将获取数据同步到Excel中 }
这样做的结果把循环Excel获取数据的逻辑和同步Excel(实际同步Excel的代码还是比较复杂的,这里只是为了简化问题,而让这部分逻辑看起来比较简单)的逻辑混合到了一起,不但代码看上去比较乱,而且也不容易对这一段代码做单元测试。要想解决这个问题,就是把循环逻辑分离出来,23种设计模式刚好有一种可以解决这个问题,那就是迭代器模式。这个模式的标准实现方式如下
这个我就不介绍了,网上有很多的介绍,但实现这个模式需要多个类的协作,虽然可以实现逻辑的分离,但开发量还是比较大的。在实际项目中我使用了该模式在.net下的一个变体,利用了.net的yield关键字来实现迭代器。代码大致如下
/// <summary>
/// 获得迭代器
/// </summary>
/// <param name="dataSource"></param>
/// <param name="batchLoadSize">批量加载大小</param>
/// <param name="loadDataCallBack">加载数据回调,第一个参数为要加载的数据源,返回实际数据</param>
/// <param name="getTargetDataBySourceDataCallBack">根据数据源获得已经加载完成的对象</param>
/// <returns></returns>
public IEnumerable<KeyValuePair<TSource,TTarget>> GetEnumerable(IList<TSource> dataSource, int batchLoadSize, Func<IList<TSource>, IList<TTarget>> loadDataCallBack,Func<TSource,IList<TTarget>,TTarget> getTargetDataBySourceDataCallBack)
{
int beginIndex = ;
while (true)
{
List<TSource> loadSourceData = new List<TSource>();
int i;
//循环获取要批量加载的数据
for( i=;i<batchLoadSize&&i+beginIndex<dataSource.Count;i++)
{
loadSourceData.Add(dataSource[beginIndex+i]);
}
//从数据库中加载数据
IList<TTarget> targetDataList = loadDataCallBack(loadSourceData);
//获得一个源数据与目标数据的键值对
foreach (var source in loadSourceData)
{
TTarget target= getTargetDataBySourceDataCallBack(source, targetDataList);
KeyValuePair<TSource, TTarget> sourceTargetKeyPair = new KeyValuePair<TSource, TTarget>(source,target);
yield return sourceTargetKeyPair;
} beginIndex += i;
//如果已经循环到最后一组,退出循环
if (beginIndex>=dataSource.Count)
{
break;
}
}
}
对该迭代器的调用方法如下
foreach(Excel数据与查询结果 in new BatchLoadEnumerable<TSource,TTarget>().GetEnumerable(Excel数据,,加载数据的委托,根据Excel数据从加载结果中查询数据的委托))
{
if(Excel数据与查询结果.查询结果==null)
{记录查询错误
continue;
}
同步数据
}
使用该方法后,循环的逻辑与同步数据的完全分离,不但代码看上去更近简洁,而且也更容易做单元测试。我对该迭代器做了通用化的处理,只要更换加载数据与根据原始数据在结果集中查询数据的委托就可以在不同的业务场景中使用,希望也会对大家有所帮助。
使用迭代器模式批量获得数据(C#实现)的更多相关文章
- 深入浅出设计模式——迭代器模式(Iterator Pattern)
模式动机 一个聚合对象,如一个列表(List)或者一个集合(Set),应该提供一种方法来让别人可以访问它的元素,而又不需要暴露它的内部结构.针对不同的需要,可能还要以不同的方式遍历整个聚合对象,但是我 ...
- iOS开发-迭代器模式
迭代器模式(Iterator),提供一种方法顺序访问一个聚合对象中的各种元素,而又不暴露该对象的内部表示.开发过程中,我们可能需要针对不同的需求,可能需要以不同的方式来遍历整个整合对象,但是我们不希望 ...
- Javascript设计模式之我见:迭代器模式
大家好!本文介绍迭代器模式及其在Javascript中的应用. 模式介绍 定义 提供一种方法顺序一个聚合对象中各个元素,而又不暴露该对象内部表示. 类图及说明 Iterator抽象迭代器 抽象迭代器负 ...
- 【设计模式 - 16】之迭代器模式(Iterator)
1 模式简介 迭代器模式是JAVA中非常常用的模式,List.Map.Set等常见集合中都封装了迭代器Iterator. 迭代器模式的介绍: 迭代器模式用于顺序访问集合对象中的元素,而不需要 ...
- 设计模式(十五):Iterator迭代器模式 -- 行为型模式
1.概述 类中的面向对象编程封装应用逻辑.类,就是实例化的对象,每个单独的对象都有一个特定的身份和状态.单独的对象是一种组织代码的有用方法,但通常你会处理一组对象或者集合. 集合不一定是均一的.图形用 ...
- 设计模式 ( 十四 ) 迭代器模式Iterator(对象行为型)
设计模式 ( 十四 ) 迭代器模式Iterator(对象行为型) 1.概述 类中的面向对象编程封装应用逻辑.类,就是实例化的对象,每个单独的对象都有一个特定的身份和状态.单独的对象是一种组织代码的 ...
- Head First设计模式之迭代器模式
一.定义 提供一种方法顺序访问一个聚合对象中各个元素, 而又无须暴露该对象的内部表示: 主要解决:不同的方式来遍历整个整合对象. 何时使用:遍历一个聚合对象. 如何解决:把在元素之间游走的责任交给迭代 ...
- Java进阶篇设计模式之九----- 解释器模式和迭代器模式
前言 在上一篇中我们学习了行为型模式的责任链模式(Chain of Responsibility Pattern)和命令模式(Command Pattern).本篇则来学习下行为型模式的两个模式, 解 ...
- 设计模式之迭代器模式——Java语言描述
迭代器模式是Java和.NET编程环境中非常常用的设计模式.这种模式用于顺序访问集合对象的元素,不需要知道集合对象的底层表示 介绍 意图 提供一种方法顺序访问一个聚合对象中各个元素,无需暴露该对象的内 ...
随机推荐
- Chisel3 - 模块
https://mp.weixin.qq.com/s/2vjM-gcauvHnn6KJzlOm4g Chisel的模块和Verilog的模块很相似,都用来定义模块结构(hierarchical s ...
- 【Mybatis plus 3.2】怎么操作?看看我!(update、limit、between)
必须是springboot工程 在pom.xml中添加 <dependency> <groupId>com.baomidou</groupId> <artif ...
- Java实现 LeetCode 810 黑板异或游戏 (分析)
810. 黑板异或游戏 一个黑板上写着一个非负整数数组 nums[i] .小红和小明轮流从黑板上擦掉一个数字,小红先手.如果擦除一个数字后,剩余的所有数字按位异或运算得出的结果等于 0 的话,当前玩家 ...
- Java实现 LeetCode 421 数组中两个数的最大异或值
421. 数组中两个数的最大异或值 给定一个非空数组,数组中元素为 a0, a1, a2, - , an-1,其中 0 ≤ ai < 231 . 找到 ai 和aj 最大的异或 (XOR) 运算 ...
- Java实现 蓝桥杯VIP 算法训练 回文数
import java.util.Scanner; public class 回文数 { static int time = 0; public static int change(String st ...
- Java实现 蓝桥杯VIP 算法训练 会议中心
算法训练 会议中心 时间限制:2.0s 内存限制:512.0MB 会议中心 Siruseri政府建造了一座新的会议中心.许多公司对租借会议中心的会堂很感兴趣,他们希望能够在里面举行会议. 对于一个客户 ...
- Java实现 LeetCode 66 加一
66. 加一 给定一个由整数组成的非空数组所表示的非负整数,在该数的基础上加一. 最高位数字存放在数组的首位, 数组中每个元素只存储单个数字. 你可以假设除了整数 0 之外,这个整数不会以零开头. 示 ...
- 使用Pycharm安装插件时发生错误
报错内容:pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host='files.pythonhosted.o ...
- Java实现蓝桥杯互补二元组
分三处 1.当差值为0并且只有一个二元组就不管他 2.当差值为0并且二元组个数>=1加上他并减去它本身 3.当差值为存在并且不为0时直接加上他 因为都计算了两次,所以最后ans/2 用了map的 ...
- mybatis技术总结
一.框架概述 day1 1.什么是框架 框架是系统的可重用设计,是对J2EE底层技术的封装(JDBC,IO流,多线程,Servlet,Socket). 2.框架解决了哪些问题? 1.解决了技术整合问题 ...