一 本系列随笔概览及产生的背景

本系列开篇受到大家的热烈欢迎,这对博主是莫大的鼓励,此为本系列第二篇,希望大家继续支持,为我继续写作提供动力。

自己开发的豆约翰博客备份专家软件工具问世3年多以来,深受广大博客写作和阅读爱好者的喜爱。同时也不乏一些技术爱好者咨询我,这个软件里面各种实用的功能是如何实现的。

该软件使用.NET技术开发,为回馈社区,现将该软件中用到的核心技术,开辟一个专栏,写一个系列文章,以飨广大技术爱好者。

本系列文章除了讲解网络采编发用到的各种重要技术之外,也提供了不少问题的解决思路和界面开发的编程经验,非常适合.NET开发的初级,中级读者,希望大家多多支持。

很多初学者常有此类困惑,“为什么我书也看了,C#相关的各个方面的知识都有所了解,但就是没法写出一个像样的应用呢?”,

这其实还是没有学会综合运用所学知识,锻炼出编程思维,建立起学习兴趣,我想该系列文章也许会帮到您,但愿如此。

开发环境:VS2008

本节源码位置:https://github.com/songboriceboy/GetWebContent

源码下载办法:安装SVN客户端(本文最后提供下载地址),然后checkout以下的地址:https://github.com/songboriceboy/GetWebContent

系列文章提纲如下:

二 第二节主要内容简介(如何使用C#语言获得任意站点博文的正文及标题)

使用C#语言获得任意站点博文的正文及标题的解决方案演示demo如下图所示:可执行文件下载

三 基本原理

要想获取任意网页文章的正文及标题,我们除了要利用上一节提到的HtmlAgilityPack.dll程序集之外,还要借助于另外一个实用的程序集Fizzler.dll(http://fizzlerex.codeplex.com/)

HtmlAgilityPack是通过xpath来解析html元素,相对来说还是稍微麻烦些;Fizzler提供了类似css选择器的方式来解析html元素,非常符合我们的习惯。

通常对于某篇文章,我们只想保留文章的正文(去掉广告,侧边栏等四周的网页布局元素),接下来,我们就来看一下操作步骤,这里我们需要借助一下强大的浏览器工具。

1.使用firefox浏览器或chrome浏览器打开我们想要提取正文的网页,firefox要安装firebug插件,chrome直接按F12,这里我们以firefox举例:

比如,打开我们上一节的博文(http://www.cnblogs.com/ice-river/p/4110799.html),如下图所示:

首先右上角的小虫子图标在我们安装完firebug插件后出现,点击它,浏览器下端弹出调试界面,在调试界面中,点击我红线框起来的图标(一蓝色方框,上面有个箭头),此时你会发现网页中的各个元素都变为可框选的,我们框选正文之后,会发现在下面的调试界面对应的div元素被高亮选中,我们对该div元素(博客园这里是div#cnblogs_post_body)右键,弹出右键菜单,如下图所示:

我们点击[复制css路径菜单项],此时我们粘贴板中就得到了正文的css路径[html body div#home div#main div#mainContent div.forFlow div#topics div.post div.postBody div#cnblogs_post_body]

对于Fizzler来说,我们只需要提供最后部分的div#cnblogs_post_body即可(大家记住,我们只需要从获得的css路径长字符串中从后往前看,拿到最后一个空格之后的字符串,这里是div#cnblogs_post_body

把这个字符串填入到我们demo的[正文css路径]部分,如下图所示:

其实对应于Fizzler来讲,只需一行代码:

   IEnumerable<HtmlNode> NodesMainContent = htmlDoc.DocumentNode.QuerySelectorAll(this.textBoxCssPath.Text);

是不是很简单?

对于其他技术博客,大家可以自行练习,检验是否理解了我上面所说的方法,这里给出几个常见技术博客的正文Css路径答案:

  站点        --->  CSS路径
"Cnblogs" ---> "div#cnblogs_post_body"
"Csdn" ---> "div#article_content.article_content"
"51CTO" ---> "div.showContent"
"Iteye" ---> "div#blog_content.blog_content"
"ItPub" ---> "div.Blog_wz1"
"ChinaUnix" ---> "div.Blog_wz1"

好了,回过头来我们讲讲本节demo中的重点代码:

获取博客正文标题:

private void GetTitle()
{
string strContent
= m_wd.GetPageByHttpWebRequest(this.textBoxUrl.Text, Encoding.UTF8);
HtmlAgilityPack.HtmlDocument htmlDoc = new HtmlAgilityPack.HtmlDocument
{
OptionAddDebuggingAttributes = false,
OptionAutoCloseOnEnd = true,
OptionFixNestedTags = true,
OptionReadEncoding = true
}; htmlDoc.LoadHtml(strContent);
string strTitle = "";
HtmlNodeCollection nodes = htmlDoc.DocumentNode.SelectNodes("//title");
// Extract Title
if (!Equals(nodes, null))
{
strTitle = string.Join(";", nodes.
Select(n => n.InnerText).
ToArray()).Trim();
}
strTitle = strTitle.Replace("博客园", "");
strTitle = Regex.Replace(strTitle, @"[|/\;:*?<>&#-]", "").ToString();
strTitle = Regex.Replace(strTitle, "[\"]", "").ToString();
this.textBoxTitle.Text = strTitle.TrimEnd();
}

主要流程是首先用我们上一节给出的 WebDownloader类获取到网页的源代码,然后通过下面一行代码获取网页标题:

 HtmlNodeCollection nodes = htmlDoc.DocumentNode.SelectNodes("//title");

这里的借助了HtmlAgilityPack的SelectNodes函数提取网页中的title元素,注意一般的格式良好网页都具有title元素,因为这样方便搜索引擎索引收录我们的文章,下图解释下什么是title元素

大家注意上图,我用红笔圈出的2个地方,应该不言自明了吧,不解释。

获取博客正文内容:

  private void GetMainContent()
{
string strContent
= m_wd.GetPageByHttpWebRequest(this.textBoxUrl.Text, Encoding.UTF8);
HtmlAgilityPack.HtmlDocument htmlDoc = new HtmlAgilityPack.HtmlDocument
{
OptionAddDebuggingAttributes = false,
OptionAutoCloseOnEnd = true,
OptionFixNestedTags = true,
OptionReadEncoding = true
}; htmlDoc.LoadHtml(strContent); IEnumerable<HtmlNode> NodesMainContent = htmlDoc.DocumentNode.QuerySelectorAll(this.textBoxCssPath.Text); if (NodesMainContent.Count() > )
{
this.richTextBox1.Text = NodesMainContent.ToArray()[].OuterHtml;
this.webBrowser1.DocumentText = this.richTextBox1.Text;
}
}

很简单就是调用htmlDoc.DocumentNode.QuerySelectorAll函数,参数传入我们上面讲到的正文div的css路径,最后NodesMainContent.ToArray()[0].OuterHtml中保存的就是网页正文内容的源代码,放到richTextBox1.Text里显示html源代码,放到webBrowser1.DocumentText里显示网页内容。

四 下节预告

网页的抓取主要分为3步:

1.通过分页链接抓取到全部文章链接集合(第一节内容)

2.通过每一个文章链接获取到文章的标题及正文(本节内容)

3.从文章正文中解析出全部图片链接,并将文章的全部图片下载到本地(下节内容)

这3步有了,之后你就想怎么折腾就怎么折腾了,各种加工处理,生成pdf,chm,静态站点,远程发布到其他站点等等(请继续关注本系列文章,并不吝点一下推荐,您的支持是我写作的最大动力)。

作者:宋波
出处:http://www.cnblogs.com/ice-river/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文链接。
正在看本人博客的这位童鞋,我看你气度不凡,谈吐间隐隐有王者之气,日后必有一番作为!旁边有“推荐”二字,你就顺手把它点了吧,相得准,我分文不收;相不准,你也好回来找我!

网络采集软件核心技术剖析系列(2)---如何使用C#语言获得任意站点博文的正文及标题的更多相关文章

  1. 网络采集软件核心技术剖析系列(7)---如何使用C#语言搭建程序框架(经典Winform界面,顶部菜单栏,工具栏,左边树形列表,右边多Tab界面)

    一 本系列随笔概览及产生的背景 自己开发的豆约翰博客备份专家软件工具问世3年多以来,深受广大博客写作和阅读爱好者的喜爱.同时也不乏一些技术爱好者咨询我,这个软件里面各种实用的功能是如何实现的. 该软件 ...

  2. 网络采集软件核心技术剖析系列(6)---将任意博主的全部博文下载到SQLite数据库中并通过Webbrower显示(将之前的内容综合到一起)

    一 本系列随笔目录及本节代码下载 自己开发的豆约翰博客备份专家软件工具问世3年多以来,深受广大博客写作和阅读爱好者的喜爱.同时也不乏一些技术爱好者咨询我,这个软件里面各种实用的功能是如何实现的. 该软 ...

  3. 网络采集软件核心技术剖析系列(5)---将任意博主的全部博文下载到内存中并通过Webbrower显示(将之前的内容综合到一起)

    一 本系列随笔概览及产生的背景 自己开发的豆约翰博客备份专家软件工具问世3年多以来,深受广大博客写作和阅读爱好者的喜爱.同时也不乏一些技术爱好者咨询我,这个软件里面各种实用的功能是如何实现的. 该软件 ...

  4. 网络采集软件核心技术剖析系列(4)---使用C#语言如何将html网页转换成pdf(html2pdf)

    一 本系列随笔概览及产生的背景 本系列开篇受到大家的热烈欢迎,这对博主是莫大的鼓励,此为本系列第四篇,希望大家继续支持,为我继续写作提供动力. 自己开发的豆约翰博客备份专家软件工具问世3年多以来,深受 ...

  5. 网络采集软件核心技术剖析系列(3)---如何使用C#语言下载博文中的全部图片到本地并可以离线浏览

    一 本系列随笔概览及产生的背景 本系列开篇受到大家的热烈欢迎,这对博主是莫大的鼓励,此为本系列第三篇,希望大家继续支持,为我继续写作提供动力. 自己开发的豆约翰博客备份专家软件工具问世3年多以来,深受 ...

  6. 《SDN核心技术剖析和实战指南》第一章小结

    第一章主要是概况.新技术有一个特点是,每家都有不同的说法.这里我只说说我比较认同的部分. SDN的核心概念大概有两个:转发面与控制面分离.开发可编程化.书里还说逻辑上集中控制,其实这个就可以从转发与控 ...

  7. WorldWind源码剖析系列:星球球体的加载与渲染

    WorldWind源码剖析系列:星球球体的加载与渲染 WorldWind中主函数Main()的分析 在文件WorldWind.cs中主函数Main()阐明了WorldWind的初始化运行机制(如图1所 ...

  8. 《SDN核心技术剖析和实战指南》2.3 OF-CONFIG配置管理协议小结

    OpenFlow协议定义了交换机和控制器交换数据的方式和规范,但并没有定义如何配置和管理必需的网络参数和网络资源,OF-CONFIG的提出就是为了对OpenFlow提供配置管理支持.如下图所示,OF- ...

  9. 采用VSPD、ModbusTool模拟串口、MODBUS TCP设备进行Python采集软件开发

    版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com 不少仪器/设备都提供了数据采集的接口,其中不少是串口或网络的MODBUS/TCP协议. 串口是比较简单 ...

随机推荐

  1. 使用APICloud打包webapp

    做个记录: 参照apicloud官方文档:http://docs.apicloud.com/Dev-Tools/sublime-apicloud-plugin 可以看下我的github:https:/ ...

  2. [Leetcode Week2]Sort List

    Sort List题解 题目来源:https://leetcode.com/problems/sort-list/description/ Description Sort a linked list ...

  3. try_module_get和module_put【转】

    转自:http://blog.csdn.net/adaptiver/article/details/7000617 转自:http://apps.hi.baidu.com/share/detail/4 ...

  4. /usr/bin/expect介绍

    /usr/bin/expect介绍 http://blog.csdn.net/zhu_tianwei/article/details/44180637 概述 我们通过Shell可以实现简单的控制流功能 ...

  5. js判断对象为空

    http://www.jb51.net/article/42713.htm var isEmptyValue = function(value) { var type; if(value == nul ...

  6. Spring+Junit,测试事务时,一直回滚

    研究了好长时间,都不知道原因,也不能解决. 控制台又没有报异常,但是就是一直回滚.注释掉spring声明式配置的代码,就能正确的更新数据. 从网上看了,别人的文章 http://blog.csdn.n ...

  7. WCF发布方式介绍

    转载出处:http://blog.csdn.net/fangxing80/article/details/6101790 从VS2005推出WCF以来,WCF逐步取代了Remoting, WebSer ...

  8. 蓝牙遥控小车设计(四)——Android APP遥控

    最近都没心情写博客,忙着答辩论文之类的,唉,主要是愁工作啊...... 先上车体全景图: APP截图: 上最终视频:

  9. 纤程与Quasar

    Java使用的是系统级线程,也就是说,每次调用new Thread(....).run(),都会在系统层面建立一个新的线程,然鹅新建线程的开销是很大的(每个线程默认情况下会占用1MB的内存空间,当然你 ...

  10. Codeforces 1023 D.Array Restoration-RMQ(ST)区间查询最值 (Codeforces Round #504 (rated, Div. 1 + Div. 2, based on VK Cup 2018 Fi)

    D. Array Restoration 这题想一下就会发现是只要两个相同的数之间没有比它小的就可以,就是保存一下数第一次出现和最后一次出现的位置,然后查询一下这个区间就可以,如果有0的话就进行填充. ...