如何编写一个可以 下载（或叫：爬取）一个网页 的网络爬虫

使用的系统：Windows 10 64位

Python 语言版本：Python 2.7.10 V

使用的编程 Python 的集成开发环境：PyCharm 2016 04

我使用的 urllib 的版本：urllib2

注意： 我没这里使用的是 Python2 ，而不是Python3

一 . 简介

编写网络爬虫的第一步就是下载网页，这个过程叫做： 爬取 。

二 . 准备工作

要想爬取网站，首先要将网站下载下来。我们使用 Python 内置的：urllib2 模块 来下载网站的 URL。

注意： 无须下载任何第三方库哦。

参考网站：http://stackoverflow.com/questions/34475051/need-to-install-urllib2-for-python-3-5-1

三 . 最简单的下载网页的网络爬虫程序

新建一个文件：download_html.py。将下面的代码输入进去：

import urllib2

def download(url):

    return urllib2.urlopen(url).read()

执行：

> C:\Python27\python.exe -i download_html.py

>>> html = download('http://www.aobosir.com')

>>> print html

<!DOCTYPE html>

<html>

  <head>

  </head>

  <body>

  </body>

  <script>

    window.location.href="http://blog.csdn.net/github_35160620"

  </script>

</html>

>>>

这样的程序，不是每一次都很顺利的运行的。我们可能会在执行上面这个程序的时候，遇到一些无法控制的问题，这根据你爬取的网站的不同而定。

* 比如，有的网站使用的编码方式与你这个程序下载网站是读取网站的编码方式不同，就会导致乱码问题；

* 再比如说：如果你爬取的目标网站具有反爬虫机制，那么当你爬取它的时候，你会遇到503 Service Unavailable 问题；

* 再比如说：如果你爬虫的网站根本不存在，那么你会得到 404 Not Found 问题。

四 . 加入异常处理程序

所以，我们为了能让程序捕获到这些异常情况，需要加上异常处理的程序。最终程序会变成下面这个样子：

import urllib2

def download(url):

    print 'Downloading: ', url

    try:

        html = urllib2.urlopen(url).read()

    except urllib2.URLError as e:

        print 'Download error', e.reason

        html = None

    return html

运行：

D:\WorkSpace\python_ws\web-scraping-with-python-learning\ch1>C:\Python27\python.exe -i 1-4-1-download_html.py

>>> html = download('http://www.aobosir.com/')

Downloading:  http://www.aobosir.com/

>>> html = download('http://httpstat.us/500')

Downloading:  http://httpstat.us/500

Download error Internal Server Error

>>> html = download('http://www.meetup.com/')

Downloading:  http://www.meetup.com/

Download error Forbidden

>>>

现在，如果程序在下载目标网站时，遇到异常就能捕获到这个异常了，然后返回 None 。现在还没有处理这个异常。只是能过捕获到它。

当然，下载网页是，遇到的错误经常都是临时性的，比如对于我们上面说的 503 问题，我们只需要尝试重新下载就可以解决这个问题。当然了，我们不需要对所有问题都尝试去重新下载，比如 404 问题，目标网页根本不存在，所以，你没有必要再去尝试。

扩展：

互联网工程任务小组（英语：Internet Engineering Task Force，缩写为 IETF）定义了HTTP错误的完整列表，详细内容到这个网站查看：https://zh.wikipedia.org/wiki/HTTP%E7%8A%B6%E6%80%81%E7%A0%81

从这个列表中，我们可以了解到：4XX 问题是客户端出现的问题；5XX 问题是服务器出现了问题；而其他的，比如：1XX 是消息；2XX 是成功；3XX 是重定向。

五 . 只有出现 5xx 错误码的时候，才执行重新下载程序

所以，我们需要让 download() 这个函数在遇到 5XX 错误的时候重新下载即可。

所以，我们再次完善我们的 download() 函数：

import urllib2

def download(url, num_retries=2):

    print 'Downloading: ', url

    try:

        html = urllib2.urlopen(url).read()

    except urllib2.URLError as e:

        print 'Download error', e.reason

        html = None

        if num_retries > 0:

            if hasattr(e, 'code') and 500 <= e.code < 600:

                # recursively retry 5xx HTTP errors

                return download(url, num_retries-1)

        return html

现在，在 download() 函数遇到 5xx 错误码的时候，就会自动递归 download() 函数本身进行重试。 download() 函数增加的第2个参数就是迎来指定递归的次数的，默认尝试2次。

测试这段程序，使用这个网站来测试：http://httpstat.us/500 ，这个网站会始终返回 500 错误码：

>>> html = download('http://httpstat.us/500')

Downloading:  http://httpstat.us/500

Download error Internal Server Error

Downloading:  http://httpstat.us/500

Download error Internal Server Error

Downloading:  http://httpstat.us/500

Download error Internal Server Error

>>> html = download('http://www.meetup.com/')

Downloading:  http://www.meetup.com/

Download error Forbidden

>>>

六 . 设置 用户代理（user_agent）

为了让我们的网络爬虫更加健壮，在网络中下载网页更加畅通无阻，我们需要：设置 用户代理（user_agent）

Q： 什么是 用户代理（user_agent）？

A： 你访问目标网站，就是访问目标服务器。那么让你访问服务器的时候，服务器会读取你是使用什么来访问它的。比如：如果你使用是是Chrome 浏览器访问它的，那么目标服务器就知道：你是使用浏览器访问它的。服务器就是通过用户代理这个参数来得到你是通过什么访问它的。

用户代理 指的是：简单的说就是一个参数，并且这个参数我们是可以修改的。在默认情况下，我们使用urllib2写的爬虫，它默认将 Python-urllib/2.7 这个字符串做为爬虫程序的用户代理。

Q： 为什么要设置 用户代理（user_agent）？

A： 如果我们使用这个默认的 Python-urllib/2.7 这个字符串做为我们的爬虫程序的用户代理，我们的爬虫会碰到很多的问题的。有些网站为了不希望网络爬虫将它们的服务器搞过载 或者 搞垮，会设有反爬虫机制。反爬虫机制就是：将一些用户代理 封禁，禁止一些 用户代理 访问他们的服务器。

比如这个例子：在我们使用urllib2 默认的用户代理 （ Python-urllib/2.7 ） 来 http://www.meetup.com/ 网站，你会看到下面的访问拒绝提示：

>>> html = download('http://blog.csdn.net/github_35160620/article/details/52487618')

Downloading:  http://blog.csdn.net/github_35160620/article/details/52487618

Download error Forbidden

>>> html = download('http://www.meetup.com/')

Downloading:  http://www.meetup.com/

Download error Forbidden

>>>

所以，如果我们能过将网络爬虫 的 用户代理 设置为 浏览器的用户代理，该多好啊。这样我们的网络爬虫就可以让服务器误以为：是一个浏览器在访问它。

下面这个图，就是 Chrome 浏览器的 用户代理 （user_agent）。

这是完全可以实现的，下面我们将来介绍，如何设定。

现在修改 download() 函数，将用户代理 设定为：wswp 这个字符串。（即 Web Scraping with Python 的首字母缩写。）

import urllib2

def download(url, user_agent='wswp', num_retries=2):

    print 'Downloading: ', url

    headers = {'User-agent' : user_agent}

    request = urllib2.Request(url, headers=headers)

    try:

        html = urllib2.urlopen(request).read()

    except urllib2.URLError as e:

        print 'Download error', e.reason

        html = None

        if num_retries > 0:

            if hasattr(e, 'code') and 500 <= e.code < 600:

                # recursively retry 5xx HTTP errors

                return download(url, user_agent, num_retries-1)

        return html

运行：

>>> html = download('http://www.meetup.com/')

Downloading:  http://www.meetup.com/

通过运行结果，你也看到了：通过设置了自定义的用户代理（user_agent）后，一些反爬虫的网站有可以下载了。现在，这个 download() 就是一个灵活的下载程序，该函数能够捕获异常，并且可以自动尝试重新下载，并且我们设置了自定义的用户代理（user_agent）。

搞定

下一节，我们来解决乱码问题

如果我们下载一个带有中文的网站，或者日文的网站，终止就是不全是英文的网站。我们将这个网站下载下来后，将它输出，会有乱码。

举例：

>>> html = download('http://blog.csdn.net/github_35160620/article/details/52487618')

Downloading:  http://blog.csdn.net/github_35160620/article/details/52487618

>>> print html

...

...

...

        </div>

       <!-- 骞垮憡浣嶅紑濮?-->

        <ins data-revive-zoneid="72" data-revive-id="8c38e720de1c90a6f6ff52f3f89c4d57"></ins>

    <!-- 骞垮憡浣嶇粨鏉?-->                                                                                    

   <link rel="stylesheet" href="http://static.blog.csdn.net/css/blog_code.css" />

            <script type="text/javascript" src="http://static.blog.csdn.net/scripts/saveToCode.js"></script>

...

...

...

下一节，就来解决这个问题。

总结：

这一节，我们已经 网络爬虫程序的下载网页的部分搞定了。下一节，我们来解决乱码问题。

Python 网络爬虫 005 (编程) 如何编写一个可以 下载（或叫：爬取）一个网页 的网络爬虫的更多相关文章

  1. Python 网络爬虫 004 (编程) 如何编写一个网络爬虫，来下载（或叫：爬取）一个站点里的所有网页

    爬取目标站点里所有的网页 使用的系统:Windows 10 64位 Python语言版本:Python 3.5.0 V 使用的编程Python的集成开发环境:PyCharm 2016 04 一 . 首 ...

  2. 【python爬虫】对喜马拉雅上一个专辑的音频进行爬取并保存到本地

    >>>内容基本框架: 1.爬虫目的 2.爬取过程 3.代码实现 4.爬取结果  >>>实验环境: python3.6版本,pycharm,电脑可上网. [一 爬虫目 ...

  3. Python爬虫入门教程 13-100 斗图啦表情包多线程爬取

    斗图啦表情包多线程爬取-写在前面 今天在CSDN博客,发现好多人写爬虫都在爬取一个叫做斗图啦的网站,里面很多表情包,然后瞅了瞅,各种实现方式都有,今天我给你实现一个多线程版本的.关键技术点 aioht ...

  4. 爬虫入门之Scrapy框架基础框架结构及腾讯爬取(十)

    Scrapy终端是一个交互终端,我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据. 如果安装了 IPyth ...

  5. Python：将爬取的网页数据写入Excel文件中

    Python:将爬取的网页数据写入Excel文件中 通过网络爬虫爬取信息后,我们一般是将内容存入txt文件或者数据库中,也可以写入Excel文件中,这里介绍关于使用Excel文件保存爬取到的网页数据的 ...

  6. 爬虫系列4：scrapy技术进阶之多页面爬取

    多页面爬取有两种形式. 1)从某一个或者多个主页中获取多个子页面的url列表,parse()函数依次爬取列表中的各个子页面. 2)从递归爬取,这个相对简单.在scrapy中只要定义好初始页面以及爬虫规 ...

  7. 使用htmlparse爬虫技术爬取电影网页的全部下载链接

    昨天,我们利用webcollector爬虫技术爬取了网易云音乐17万多首歌曲,而且还包括付费的在内,如果时间允许的话,可以获取更多的音乐下来,当然,也有小伙伴留言说这样会降低国人的知识产权保护意识,诚 ...

  8. 使用htmlparser爬虫技术爬取电影网页的全部下载链接

    昨天,我们利用webcollector爬虫技术爬取了网易云音乐17万多首歌曲,而且还包括付费的在内,如果时间允许的话,可以获取更多的音乐下来,当然,也有小伙伴留言说这样会降低国人的知识产权保护意识,诚 ...

  9. Python 爬取单个网页所需要加载的地址和CSS、JS文件地址

    Python 爬取单个网页所需要加载的URL地址和CSS.JS文件地址 通过学习Python爬虫,知道根据正式表达式匹配查找到所需要的内容(标题.图片.文章等等).而我从测试的角度去使用Python爬 ...

随机推荐

  1. scrum meeting 1st

    现状分析 这是一个新项目,在之前的阶段中,基本完成了用户需求分析,在具体实现方面,团队大部分处于初学阶段,需要时间学习试验,预计刚开始项目进展较慢,alpha阶段时间相对紧迫,打算先实现网站的基本功能 ...

  2. 手动安装mysql-5.0.45.tar.gz

    Linux下编译安装 安装环境:VMware9(桥接模式) + Linux bogon 2.6.32-642.3.1.el6.x86_64(查看linux版本信息:uname -a) 先给出MySQL ...

  3. MySQL管理

    http://www.yiibai.com/mysql/administration.html 在本节中,您将学习有关MySQL管理教程,包括MySQL服务器启动和关闭,MySQL服务器安全性,MyS ...

  4. git教程1-git工作原理与初始化仓库

    一.git工作原理 1.git是版本控制器,因此管理的是版本,每一次提交commit就是新建一个版本. 2.分支:git主分支可以存放一个阶段已经完成好的版本,而修改版本则放置在次分支上. 3.融合: ...

  5. OSI七层与TCP/IP五层网络架构

    OSI七层模型   OSI中的层 功能 TCP/IP协议族 应用层 文件传输,电子邮件,文件服务,虚拟终端 TFTP,HTTP,SNMP,FTP,SMTP,DNS,Telnet 表示层 数据格式化,代 ...

  6. UVALive - 3521 Joseph's Problem (整除分块)

    给定$n,k$$(1\leqslant n,k\leqslant 10^9)$,计算$\sum\limits _{i=1}^nk\: mod\:i$ 通过观察易发现$k\%i=k-\left \lfl ...

  7. 455. Assign Cookies Add to List

    Assume you are an awesome parent and want to give your children some cookies. But, you should give e ...

  8. tableau学习笔记—1

    第一部分 第一章 数据可视化 1.1 用数据讲故事 1.2 数据不只是数字 1.3 在数据中寻找什么(关系.模式.异常) 第二章 Tableau概述 2.1 Tableau概述 2.2 产品简介 第三 ...

  9. Knuth-Morris-Pratt 算法

    KMP算法是一种改进的字符串匹配算法,由D.E.Knuth,J.H.Morris和V.R.Pratt同时发现,因此人们称它为克努特——莫里斯——普拉特操作(简称KMP算法).KMP算法的关键是利用匹配 ...

  10. Unity 5 官方打包管理工具 Asset Bundle Manager

    http://blog.csdn.net/suifcd/article/details/51570003 Unity5在Asset bundle 打包管理上采用了全新的方式,不需要再对每个文件进行MD ...