网络采集软件核心技术剖析系列（5）---将任意博主的全部博文下载到内存中并通过Webbrower显示（将之前的内容综合到一起）

一 本系列随笔概览及产生的背景

自己开发的豆约翰博客备份专家软件工具问世3年多以来，深受广大博客写作和阅读爱好者的喜爱。同时也不乏一些技术爱好者咨询我，这个软件里面各种实用的功能是如何实现的。

该软件使用.NET技术开发，为回馈社区，现将该软件中用到的核心技术，开辟一个专栏，写一个系列文章，以飨广大技术爱好者。

本系列文章除了讲解网络采编发用到的各种重要技术之外，也提供了不少问题的解决思路和界面开发的编程经验，非常适合.NET开发的初级，中级读者，希望大家多多支持。

很多初学者常有此类困惑，“为什么我书也看了，C#相关的各个方面的知识都有所了解，但就是没法写出一个像样的应用呢？”，

这其实还是没有学会综合运用所学知识，锻炼出编程思维，建立起学习兴趣，我想该系列文章也许会帮到您，但愿如此。

开发环境：VS2008

本节源码位置：https://github.com/songboriceboy/GatherAll

源码下载办法：安装SVN客户端(本文最后提供下载地址)，然后checkout以下的地址：https://github.com/songboriceboy/GatherAll

系列文章提纲如下：

网络采集软件核心技术剖析系列（1）---如何使用C#语言获取博客园某个博主的全部随笔链接及标题

网络采集软件核心技术剖析系列（2）---如何使用C#语言获得任意站点博文的正文及标题

网络采集软件核心技术剖析系列（3）---如何使用C#语言下载博文中的全部图片到本地并可以离线浏览

网络采集软件核心技术剖析系列（4）---使用C#语言如何将html网页转换成pdf（html2pdf）

网络采集软件核心技术剖析系列（5）---将任意博主的全部博文下载到内存中并通过Webbrower显示

网络采集软件核心技术剖析系列（6）---将任意博主的全部博文下载到SQLite数据库中并通过Webbrower显示

网络采集软件核心技术剖析系列（7）---如何使用C#语言搭建程序框架(经典Winform界面，菜单栏，树形列表，多Tab界面）

网络采集软件核心技术剖析系列（综合实例）

二 第五节主要内容简介（将任意博主的全部博文下载到内存中并通过Webbrower显示）

将任意博主的全部博文下载到内存中并通过Webbrower显示的解决方案，演示demo如下图所示：可执行文件下载

三 基本原理

本节我们提供了一个示例将本系列中的第一节和第二节的内容综合到一起，实现下载博客园任意博主的全部博文功能。用户只要在编辑框中输入博客园任意博主的ID，该博主的全部文章就会被下载到内存中，我们本节就来剖析一下实现原理。

采集博文的结构图如下所示：

总体步骤如下：

1.用分页地址初始化Url队列（其实是一个堆栈数据结构），具体请参考本系列第一节内容；

2.调度器不断从Url队列中取得url，从网上获取该url对应的网页正文；

3.多线程的网页爬虫分析下载到的网页正文是链接提取页还是文章正文页；

（1）若为链接提取页面，则提取全部符合规则的文章链接，然后压入到前面的Url队列中（其实是堆栈操作，这里可以理解为，一个分页页面地址换取了几十个文章链接地址，接下来调度器将取得的链接是这几十个文章链接地址，全部下载完，存储到数据存储后，接下来才会轮到取第二个分页页面，这点大家可以对照提供的代码自行理解，此处是网络爬虫的精髓）。

（2）若为文章正文页，则按照正文css路径，提取出正文，存储到数据存储中（本节为datatable中），具体可参考本系列第二节内容。

4.递归的执行第2步和第3步，直至Url队列为空或已经判断出全部文章下载完毕（参见第一节）时，程序结束。

核心代码如下：

private void ParseWebPage(string strVisitUrl, string strPageContent, DoWorkEventArgs e)
        {

            string strUrlFilterRule = GetUrlFilterRule();

            if (!IsFinalPage(strVisitUrl, strUrlFilterRule))
            {

                bool bNoArticle = SaveUrlToDB(strVisitUrl, strPageContent, e);
                if (!bNoArticle)
                {
                    BlogGatherNext(e);
                }
            }
            else
            {
                if (strPageContent != "")
                {
                    string strTitle = SaveFinalPageContent(""
                        , GetMainContentCss(), strVisitUrl, strPageContent);

                }

                BlogGatherNext(e);
            }
        }

IsFinalPage(strVisitUrl, strUrlFilterRule)，该行代码根据本次请求的url和文章链接的url规则来判断当前获取的页面是最终文章页还是文章链接提取页，其实现代码如下：

       protected  bool IsFinalPage(string strVisitUrl, string strUrlFilterRule)
        {
            bool bRet = false;

            MatchCollection matchsTemp = Regex.Matches(strVisitUrl.ToString(), strUrlFilterRule, RegexOptions.Singleline);
            if (matchsTemp.Count > )
            {
                bRet = true;
            }
            return bRet;
        }

补充说明，何谓链接提取页？如下图所示即是：

更详细的代码请自行下载研究。

作者：宋波
出处：http://www.cnblogs.com/ice-river/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文链接。
正在看本人博客的这位童鞋，我看你气度不凡，谈吐间隐隐有王者之气，日后必有一番作为！旁边有“推荐”二字，你就顺手把它点了吧，相得准，我分文不收；相不准，你也好回来找我！