这一篇我们聊聊在页面抓取时应该注意到的几个问题。

一:网页更新

我们知道,一般网页中的信息是不断翻新的,这也要求我们定期的去抓这些新信息,但是这个“定期”该怎么理解,也就是多长时间需要

抓一次该页面,其实这个定期也就是页面缓存时间,在页面的缓存时间内我们再次抓取该网页是没有必要的,反而给人家服务器造成压力。

就比如说我要抓取博客园首页,首先清空页面缓存,

从Last-Modified到Expires,我们可以看到,博客园的缓存时间是2分钟,而且我还能看到当前的服务器时间Date,如果我再次

刷新页面的话,这里的Date将会变成下图中 If-Modified-Since,然后发送给服务器,判断浏览器的缓存有没有过期?

最后服务器发现If-Modified-Since >= Last-Modifined的时间,服务器也就返回304了,不过发现这cookie信息真是贼多啊。。。

在实际开发中,如果在知道网站缓存策略的情况下,我们可以让爬虫2min爬一次就好了,当然这些都是可以由数据团队来配置维护了,

好了,下面我们用爬虫模拟一下。

 1 using System;
2 using System.Net;
3
4 namespace ConsoleApplication2
5 {
6 public class Program
7 {
8 static void Main(string[] args)
9 {
10 DateTime prevDateTime = DateTime.MinValue;
11
12 for (int i = 0; i < 10; i++)
13 {
14 try
15 {
16 var url = "http://cnblogs.com";
17
18 var request = (HttpWebRequest)HttpWebRequest.Create(url);
19
20 request.Method = "Head";
21
22 if (i > 0)
23 {
24 request.IfModifiedSince = prevDateTime;
25 }
26
27 request.Timeout = 3000;
28
29 var response = (HttpWebResponse)request.GetResponse();
30
31 var code = response.StatusCode;
32
33 //如果服务器返回状态是200,则认为网页已更新,记得当时的服务器时间
34 if (code == HttpStatusCode.OK)
35 {
36 prevDateTime = Convert.ToDateTime(response.Headers[HttpResponseHeader.Date]);
37 }
38
39 Console.WriteLine("当前服务器的状态码:{0}", code);
40 }
41 catch (WebException ex)
42 {
43 if (ex.Response != null)
44 {
45 var code = (ex.Response as HttpWebResponse).StatusCode;
46
47 Console.WriteLine("当前服务器的状态码:{0}", code);
48 }
49 }
50 }
51 }
52 }
53 }

二:网页编码的问题

有时候我们已经抓取到网页了,准备去解析的时候,tmd的全部是乱码,真是操蛋,比如下面这样,

或许我们依稀的记得在html的meta中有一个叫做charset的属性,里面记录的就是编码方式,还有一个要点就是

response.CharacterSet这个属性中同样也记录了编码方式,下面我们再来试试看。

艹,居然还是乱码,蛋疼了,这次需要到官网上面去看一看,到底http头信息里面都交互了些什么,凭什么浏览器能正常显示,

爬虫爬过来的就不行。

查看了http头信息,终于我们知道了,浏览器说我可以解析gzip,deflate,sdch这三种压缩方式,服务器发送的是gzip压缩,到这里

我们也应该知道了常用的web性能优化。

 1 using System;
2 using System.Collections.Generic;
3 using System.Linq;
4 using System.Text;
5 using System.Threading;
6 using HtmlAgilityPack;
7 using System.Text.RegularExpressions;
8 using System.Net;
9 using System.IO;
10 using System.IO.Compression;
11
12 namespace ConsoleApplication2
13 {
14 public class Program
15 {
16 static void Main(string[] args)
17 {
18 //var currentUrl = "http://www.mm5mm.com/";
19
20 var currentUrl = "http://www.sohu.com/";
21
22 var request = WebRequest.Create(currentUrl) as HttpWebRequest;
23
24 var response = request.GetResponse() as HttpWebResponse;
25
26 var encode = string.Empty;
27
28 if (response.CharacterSet == "ISO-8859-1")
29 encode = "gb2312";
30 else
31 encode = response.CharacterSet;
32
33 Stream stream;
34
35 if (response.ContentEncoding.ToLower() == "gzip")
36 {
37 stream = new GZipStream(response.GetResponseStream(), CompressionMode.Decompress);
38 }
39 else
40 {
41 stream = response.GetResponseStream();
42 }
43
44 var sr = new StreamReader(stream, Encoding.GetEncoding(encode));
45
46 var html = sr.ReadToEnd();
47 }
48 }
49 }

三:网页解析

既然经过千辛万苦拿到了网页,下一个就要解析了,当然正则匹配是个好方法,毕竟工作量还是比较大的,可能业界也比较推崇

HtmlAgilityPack这个解析工具,能够将Html解析成XML,然后可以用XPath去提取指定的内容,大大提高了开发速度,性能也

不赖,毕竟Agility也就是敏捷的意思,关于XPath的内容,大家看懂W3CSchool的这两张图就OK了。

 1 using System;
2 using System.Collections.Generic;
3 using System.Linq;
4 using System.Text;
5 using System.Threading;
6 using HtmlAgilityPack;
7 using System.Text.RegularExpressions;
8 using System.Net;
9 using System.IO;
10 using System.IO.Compression;
11
12 namespace ConsoleApplication2
13 {
14 public class Program
15 {
16 static void Main(string[] args)
17 {
18 //var currentUrl = "http://www.mm5mm.com/";
19
20 var currentUrl = "http://www.sohu.com/";
21
22 var request = WebRequest.Create(currentUrl) as HttpWebRequest;
23
24 var response = request.GetResponse() as HttpWebResponse;
25
26 var encode = string.Empty;
27
28 if (response.CharacterSet == "ISO-8859-1")
29 encode = "gb2312";
30 else
31 encode = response.CharacterSet;
32
33 Stream stream;
34
35 if (response.ContentEncoding.ToLower() == "gzip")
36 {
37 stream = new GZipStream(response.GetResponseStream(), CompressionMode.Decompress);
38 }
39 else
40 {
41 stream = response.GetResponseStream();
42 }
43
44 var sr = new StreamReader(stream, Encoding.GetEncoding(encode));
45
46 var html = sr.ReadToEnd();
47
48 sr.Close();
49
50 HtmlDocument document = new HtmlDocument();
51
52 document.LoadHtml(html);
53
54 //提取title
55 var title = document.DocumentNode.SelectSingleNode("//title").InnerText;
56
57 //提取keywords
58 var keywords = document.DocumentNode.SelectSingleNode("//meta[@name='Keywords']").Attributes["content"].Value;
59 }
60 }
61 }

爬虫基础学习 转【http://www.cnblogs.com/huangxincheng/archive/2012/11/08/2759752.html】的更多相关文章

  1. <转载>C#与JAVA的区别 http://www.cnblogs.com/Asa-Zhu/archive/2012/11/08/2761114.html

    C#(C-Sharp)是Microsoft的新编程语言,被誉为“C/C++家族中第一种面向组件的语言”.然而,不管它自己宣称的是什么,许多人认为C#更像是Java的一种克隆,或者是Microsoft用 ...

  2. mysql基本操作 [http://www.cnblogs.com/ggjucheng/archive/2012/11/03/2752082.html]

    创建表 简单的方式 CREATE TABLE person ( number INT(11), name VARCHAR(255), birthday DATE ); 或者是 CREATE TABLE ...

  3. jQuery实例——jQuery实现联动下拉列表查询框--转http://www.cnblogs.com/picaso/archive/2012/04/08/2437442.html#undefined

    jQuery实例--jQuery实现联动下拉列表查询框   在查询与列表显示的时候经常用到联动列表显示,比如一级选项是国家,二级选项是省,三级是市,这样的联动是联系的实时导出的,比如你不可能选择了四川 ...

  4. 基于dsp_builder的算法在FPGA上的实现(转自https://www.cnblogs.com/sunev/archive/2012/11/17/2774836.html)

    一.摘要 结合dsp_builder.matlab.modelsim和quartus ii等软件完成算法的FPGA实现. 二.实验平台 硬件平台:DIY_DE2 软件平台:quartus ii9.0 ...

  5. 邮槽 匿名管道 命名管道 剪贴板 进程通讯 转自http://www.cnblogs.com/kzloser/archive/2012/11/04/2753367.html#

    邮槽 通信流程: 服务器 客户端 注意: 邮槽是基于广播通信体系设计出来的,它采用无连接的不可靠的数据传输 邮槽可以实现一对多的单向通信,我们可以利用这个特点编写一个网络会议通知系统,而且实现这一的系 ...

  6. java网络爬虫基础学习(三)

    尝试直接请求URL获取资源 豆瓣电影 https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort= ...

  7. @无痕客 https://www.cnblogs.com/wuhenke/archive/2012/12/24/2830530.html 通篇引用

    无痕客 https://www.cnblogs.com/wuhenke/archive/2012/12/24/2830530.html 关于Async与Await的FAQ 关于Async与Await的 ...

  8. http://www.cnblogs.com/Lawson/archive/2012/09/03/2669122.html

    http://www.cnblogs.com/Lawson/archive/2012/09/03/2669122.html

  9. http://www.cnblogs.com/Matrix54/archive/2012/05/03/2481260.html

    http://www.cnblogs.com/Matrix54/archive/2012/05/03/2481260.html

随机推荐

  1. 我的android学习经历15

    利用Intent实现有返回结果的页面跳转 主要用的方法: (1)Intent的构造方法:intent(当前界面对象,要跳转的界面.class); (2)接受结果的方法onActivityResult( ...

  2. include_path详细解析

    include_path详细解析     原文地址:http://www.laruence.com/2010/05/04/1450.html 1.php默认的包含路径为 .;C:\php\pear 即 ...

  3. Scrum Meeting---Three(2015-10-27)

    今日已完成任务和明日要做的任务 姓名 今日已完成任务 今日时间 明日计划完成任务 估计用时 董元财 今日我学习了Java Web,同时安装好了我的MySQL 4h 进行数据库设计以及Web项目的创建 ...

  4. C++中关于new及内存地址的思考

    OJ题刷多了,每次都是直接分配内存,那么,你还记得怎么动态分配内存吗? ———————————————————————————————————— 我们知道,使用malloc/calloc等分配内存的函 ...

  5. maven项目搭建

    一.Maven简介 Maven是基于Java平台的项目构建(mvn clean install).依赖管理(中央仓库,Nexus)和项目信息管理的项目管理工具. Maven是基于项目对象模型(POM) ...

  6. Java编程思想学习笔记_1(Java内存和垃圾回收)

    1.Java中对象的存储数据的地方: 共有五个不同的地方可以存储数据. 1)寄存器.最快,因为位于处理器的内部,寄存器按需求分配,不能直接控制. 2)堆栈.位于通用RAM,通过堆栈指针可以从处理器那里 ...

  7. hostapd源代码分析(三):管理帧的收发和处理

    hostapd源代码分析(三):管理帧的收发和处理 原文链接:http://blog.csdn.net/qq_21949217/article/details/46004379 这篇文章我来讲解一下h ...

  8. Eclipse NDK 配置

    一.关于NDK:NDK全称:Native Development Kit. 1.NDK是一系列工具的集合. NDK提供了一系列的工具,帮助开发者快速开发C(或C++)的动态库,并能自动将so和java ...

  9. @synchronized (object)使用详解

    synchronized关键字代表这个方法加锁,相当于不管哪一个线 程A每次运行到这个法时,都要检查有没有其它正在用这个方法的线程B(或者C D等),有的话要等正在使用这个方法的线程B(或者C D)运 ...

  10. 移动端 meta

    摘自http://www.cnblogs.com/shxydx/articles/2856882.html   控制显示区域各种属性: <meta content="width=dev ...