爬虫基础学习 转【http://www.cnblogs.com/huangxincheng/archive/2012/11/08/2759752.html】
这一篇我们聊聊在页面抓取时应该注意到的几个问题。
一:网页更新
我们知道,一般网页中的信息是不断翻新的,这也要求我们定期的去抓这些新信息,但是这个“定期”该怎么理解,也就是多长时间需要
抓一次该页面,其实这个定期也就是页面缓存时间,在页面的缓存时间内我们再次抓取该网页是没有必要的,反而给人家服务器造成压力。
就比如说我要抓取博客园首页,首先清空页面缓存,
从Last-Modified到Expires,我们可以看到,博客园的缓存时间是2分钟,而且我还能看到当前的服务器时间Date,如果我再次
刷新页面的话,这里的Date将会变成下图中 If-Modified-Since,然后发送给服务器,判断浏览器的缓存有没有过期?
最后服务器发现If-Modified-Since >= Last-Modifined的时间,服务器也就返回304了,不过发现这cookie信息真是贼多啊。。。
在实际开发中,如果在知道网站缓存策略的情况下,我们可以让爬虫2min爬一次就好了,当然这些都是可以由数据团队来配置维护了,
好了,下面我们用爬虫模拟一下。
1 using System;
2 using System.Net;
3
4 namespace ConsoleApplication2
5 {
6 public class Program
7 {
8 static void Main(string[] args)
9 {
10 DateTime prevDateTime = DateTime.MinValue;
11
12 for (int i = 0; i < 10; i++)
13 {
14 try
15 {
16 var url = "http://cnblogs.com";
17
18 var request = (HttpWebRequest)HttpWebRequest.Create(url);
19
20 request.Method = "Head";
21
22 if (i > 0)
23 {
24 request.IfModifiedSince = prevDateTime;
25 }
26
27 request.Timeout = 3000;
28
29 var response = (HttpWebResponse)request.GetResponse();
30
31 var code = response.StatusCode;
32
33 //如果服务器返回状态是200,则认为网页已更新,记得当时的服务器时间
34 if (code == HttpStatusCode.OK)
35 {
36 prevDateTime = Convert.ToDateTime(response.Headers[HttpResponseHeader.Date]);
37 }
38
39 Console.WriteLine("当前服务器的状态码:{0}", code);
40 }
41 catch (WebException ex)
42 {
43 if (ex.Response != null)
44 {
45 var code = (ex.Response as HttpWebResponse).StatusCode;
46
47 Console.WriteLine("当前服务器的状态码:{0}", code);
48 }
49 }
50 }
51 }
52 }
53 }
二:网页编码的问题
有时候我们已经抓取到网页了,准备去解析的时候,tmd的全部是乱码,真是操蛋,比如下面这样,
或许我们依稀的记得在html的meta中有一个叫做charset的属性,里面记录的就是编码方式,还有一个要点就是
response.CharacterSet这个属性中同样也记录了编码方式,下面我们再来试试看。
艹,居然还是乱码,蛋疼了,这次需要到官网上面去看一看,到底http头信息里面都交互了些什么,凭什么浏览器能正常显示,
爬虫爬过来的就不行。
查看了http头信息,终于我们知道了,浏览器说我可以解析gzip,deflate,sdch这三种压缩方式,服务器发送的是gzip压缩,到这里
我们也应该知道了常用的web性能优化。
1 using System;
2 using System.Collections.Generic;
3 using System.Linq;
4 using System.Text;
5 using System.Threading;
6 using HtmlAgilityPack;
7 using System.Text.RegularExpressions;
8 using System.Net;
9 using System.IO;
10 using System.IO.Compression;
11
12 namespace ConsoleApplication2
13 {
14 public class Program
15 {
16 static void Main(string[] args)
17 {
18 //var currentUrl = "http://www.mm5mm.com/";
19
20 var currentUrl = "http://www.sohu.com/";
21
22 var request = WebRequest.Create(currentUrl) as HttpWebRequest;
23
24 var response = request.GetResponse() as HttpWebResponse;
25
26 var encode = string.Empty;
27
28 if (response.CharacterSet == "ISO-8859-1")
29 encode = "gb2312";
30 else
31 encode = response.CharacterSet;
32
33 Stream stream;
34
35 if (response.ContentEncoding.ToLower() == "gzip")
36 {
37 stream = new GZipStream(response.GetResponseStream(), CompressionMode.Decompress);
38 }
39 else
40 {
41 stream = response.GetResponseStream();
42 }
43
44 var sr = new StreamReader(stream, Encoding.GetEncoding(encode));
45
46 var html = sr.ReadToEnd();
47 }
48 }
49 }
三:网页解析
既然经过千辛万苦拿到了网页,下一个就要解析了,当然正则匹配是个好方法,毕竟工作量还是比较大的,可能业界也比较推崇
HtmlAgilityPack这个解析工具,能够将Html解析成XML,然后可以用XPath去提取指定的内容,大大提高了开发速度,性能也
不赖,毕竟Agility也就是敏捷的意思,关于XPath的内容,大家看懂W3CSchool的这两张图就OK了。
1 using System;
2 using System.Collections.Generic;
3 using System.Linq;
4 using System.Text;
5 using System.Threading;
6 using HtmlAgilityPack;
7 using System.Text.RegularExpressions;
8 using System.Net;
9 using System.IO;
10 using System.IO.Compression;
11
12 namespace ConsoleApplication2
13 {
14 public class Program
15 {
16 static void Main(string[] args)
17 {
18 //var currentUrl = "http://www.mm5mm.com/";
19
20 var currentUrl = "http://www.sohu.com/";
21
22 var request = WebRequest.Create(currentUrl) as HttpWebRequest;
23
24 var response = request.GetResponse() as HttpWebResponse;
25
26 var encode = string.Empty;
27
28 if (response.CharacterSet == "ISO-8859-1")
29 encode = "gb2312";
30 else
31 encode = response.CharacterSet;
32
33 Stream stream;
34
35 if (response.ContentEncoding.ToLower() == "gzip")
36 {
37 stream = new GZipStream(response.GetResponseStream(), CompressionMode.Decompress);
38 }
39 else
40 {
41 stream = response.GetResponseStream();
42 }
43
44 var sr = new StreamReader(stream, Encoding.GetEncoding(encode));
45
46 var html = sr.ReadToEnd();
47
48 sr.Close();
49
50 HtmlDocument document = new HtmlDocument();
51
52 document.LoadHtml(html);
53
54 //提取title
55 var title = document.DocumentNode.SelectSingleNode("//title").InnerText;
56
57 //提取keywords
58 var keywords = document.DocumentNode.SelectSingleNode("//meta[@name='Keywords']").Attributes["content"].Value;
59 }
60 }
61 }
爬虫基础学习 转【http://www.cnblogs.com/huangxincheng/archive/2012/11/08/2759752.html】的更多相关文章
- <转载>C#与JAVA的区别 http://www.cnblogs.com/Asa-Zhu/archive/2012/11/08/2761114.html
C#(C-Sharp)是Microsoft的新编程语言,被誉为“C/C++家族中第一种面向组件的语言”.然而,不管它自己宣称的是什么,许多人认为C#更像是Java的一种克隆,或者是Microsoft用 ...
- mysql基本操作 [http://www.cnblogs.com/ggjucheng/archive/2012/11/03/2752082.html]
创建表 简单的方式 CREATE TABLE person ( number INT(11), name VARCHAR(255), birthday DATE ); 或者是 CREATE TABLE ...
- jQuery实例——jQuery实现联动下拉列表查询框--转http://www.cnblogs.com/picaso/archive/2012/04/08/2437442.html#undefined
jQuery实例--jQuery实现联动下拉列表查询框 在查询与列表显示的时候经常用到联动列表显示,比如一级选项是国家,二级选项是省,三级是市,这样的联动是联系的实时导出的,比如你不可能选择了四川 ...
- 基于dsp_builder的算法在FPGA上的实现(转自https://www.cnblogs.com/sunev/archive/2012/11/17/2774836.html)
一.摘要 结合dsp_builder.matlab.modelsim和quartus ii等软件完成算法的FPGA实现. 二.实验平台 硬件平台:DIY_DE2 软件平台:quartus ii9.0 ...
- 邮槽 匿名管道 命名管道 剪贴板 进程通讯 转自http://www.cnblogs.com/kzloser/archive/2012/11/04/2753367.html#
邮槽 通信流程: 服务器 客户端 注意: 邮槽是基于广播通信体系设计出来的,它采用无连接的不可靠的数据传输 邮槽可以实现一对多的单向通信,我们可以利用这个特点编写一个网络会议通知系统,而且实现这一的系 ...
- java网络爬虫基础学习(三)
尝试直接请求URL获取资源 豆瓣电影 https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort= ...
- @无痕客 https://www.cnblogs.com/wuhenke/archive/2012/12/24/2830530.html 通篇引用
无痕客 https://www.cnblogs.com/wuhenke/archive/2012/12/24/2830530.html 关于Async与Await的FAQ 关于Async与Await的 ...
- http://www.cnblogs.com/Lawson/archive/2012/09/03/2669122.html
http://www.cnblogs.com/Lawson/archive/2012/09/03/2669122.html
- http://www.cnblogs.com/Matrix54/archive/2012/05/03/2481260.html
http://www.cnblogs.com/Matrix54/archive/2012/05/03/2481260.html
随机推荐
- MTK+高通方案商
1.德信无线通讯科技有限公司 点击打开链接 2.深圳优美科技
- 【leetcode❤python】Binary Watch
#-*- coding: UTF-8 -*- from itertools import combinationsclass Solution(object): hourList=[8, ...
- mysqldump使用方法(MySQL数据库的备份与恢复)
#mysqldump --help 1.mysqldump的几种常用方法: (1)导出整个数据库(包括数据库中的数据) mysqldump -u username -p dbname > dbn ...
- [51NOD1537] 分解(递推,矩阵快速幂)
题目链接:http://www.51nod.com/onlineJudge/questionCode.html#!problemId=1537 思路:一开始用二项式拆了一下,发现这个式子的形式总能变成 ...
- nslookup基础用法
简单介绍 简单介绍如下: 实例:查询163.com域名信息 D:>nslookup Default Server: ns-px.online.sh.cn Address: 202.96.209. ...
- [SAP ABAP开发技术总结]RETURN、STOP、EXIT、CHECK、LEAVE、REJECT
声明:原创作品,转载时请注明文章来自SAP师太技术博客( 博/客/园www.cnblogs.com):www.cnblogs.com/jiangzhengjun,并以超链接形式标明文章原始出处,否则将 ...
- HDU 5833 Zhu and 772002
HDU 5833 Zhu and 772002 Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/65536 K (Java/ ...
- 关于js运动的一些总结
js运动实现,有两种.一种是速度版,另一种是时间版. 速度版是通过对速度的加减乘除,得出元素的运动数据.时间版是通过对时间进行Tween公式运算,得出元素的运动数据. 速度版运动优点:容易在运动过程中 ...
- elcipse 安装svn插件 转载
1.下载最新的Eclipse,我的版本是3.7.2 indigo(Eclipse IDE for Java EE Developers)版 如果没有安装的请到这里下载安装:http://ecli ...
- 刻录DVD_目录
1.down.52pojie.cn (20160701) (1 in 5) 工具 2.down.52pojie.cn (20160701) (2 in 5) Android VM 6/7 3.down ...