Python 网络爬虫 009 (编程) 通过正则表达式来获取一个网页中的所有的URL链接，并下载这些URL链接的源代码

通过 正则表达式 来获取一个网页中的所有的 URL链接，并下载这些 URL链接 的源代码

使用的系统：Windows 10 64位

Python 语言版本：Python 2.7.10 V

使用的编程 Python 的集成开发环境：PyCharm 2016 04

我使用的 urllib 的版本：urllib2

注意： 我没这里使用的是 Python2 ，而不是Python3

---

一 . 前言

通过之前两节（爬取一个网页 的网络爬虫 和 解决爬取到的网页显示时乱码问题），我们终于完成了最终的 download() 函数。

并且上上一节 ，我们通过网站地图解析里面的URL的方式爬取了目标站点的所有网页。在 上一节，介绍一种方法来爬取一个网页里面所有的链接网页。这一节，我们通过正则表达式来获取一个网页中的所有的URL链接，并下载这些URL链接的源代码。

---

二 . 简介

到目前为止，我们已经利用目标网站的结构特点实现了两个简单爬虫。只要这两个技术可用，就应当使用其进行爬取，因为这两个方法最小化了需要下载的网页数量。不过，对于一些网站，我们需要让爬虫表现得更像普通用户：跟踪链接，访问感兴趣的内容。

通过跟踪所有链接的方式，我们可以很容易地下载整个网站的页面。但是这种方法会下载大量我们并不需要的网页。例如，我们想要从一个在线论坛中爬取用户账号详情页，那么此时我们只需要下载账户页，而不需要下载 讨论轮贴的页面。本篇博客中的链接爬虫将使用正则表达式来确定需要下载那些页面。

---

三 . 初级代码

import re

def link_crawler(seed_url, link_regex):
    """Crawl from the given seed URL following links matched by link_regex
    """
    crawl_queue = [seed_url]
    while crawl_queue:
        url = crawl_queue.pop()
        html = download(url)
        # filter for links matching our regular expression
        for link in get_links(html):
            if re.match(link_regex, link):
                crawl_queue.append(link)

def get_links(html):
    """Return a list of links from html
    """
    # a regular expression to extract all links from the webpage
    webpage_regex = re.compile('<a[^>]+href=["\'](.*?)["\']', re.IGNORECASE)
    # list of all links from the webpage
    return webpage_regex.findall(html)

---

四 . 讲解初级代码

1 .

def link_crawler(seed_url, link_regex):

这个函数就是我们要在外部使用的函数。功能：先下载 seed_url 网页的源代码，然后提取出里面所有的链接URL，接着对所有匹配到的链接URL与link_regex 进行匹配，如果链接URL里面有link_regex内容，就将这个链接URL放入到队列中，下一次 执行 while crawl_queue: 就对这个 链接URL 进行同样的操作。反反复复，直到 crawl_queue 队列为空，才退出函数。

---

2 .

get_links(html) 函数的功能：用来获取 html 网页中所有的链接URL。

---

3 .

webpage_regex = re.compile('<a[^>]+href=["\']'(.*?)["\']', re.IGNORECASE)

做了一个匹配模板，存在 webpage_regex 对象里面 。匹配<a href="xxx"> 这样的字符串，并提取出里面xxx的内容，这个xxx就是网址 URL 。

---

4 .

return webpage_regex.findall(html)

使用 webpage_regex 这个模板对 html 网页源代码匹配所有符合<a href="xxx"> 格式的字符串，并提取出里面的 xxx 内容。

---

详细的正则表达式的知识，请到这个网站了解：

http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html

---

五 . 运行

先启动Python 终端交互指令，在PyCharm软件的Terminal窗口中 或者 在Windows 系统的DOS窗口中执行下面的命令：

C:\Python27\python.exe -i 1-4-4-regular_expression.py

执行link_crawler() 函数：

>>> link_crawler('http://example.webscraping.com', '/(index|view)')

输出：

Downloading:  http://example.webscraping.com
Downloading:  /index/1
Traceback (most recent call last):
  File "1-4-4-regular_expression.py", line 50, in <module>
    link_crawler('http://example.webscraping.com', '/(index|view)')
  File "1-4-4-regular_expression.py", line 36, in link_crawler
    html = download(url)
  File "1-4-4-regular_expression.py", line 13, in download
    html = urllib2.urlopen(request).read()
  File "C:\Python27\lib\urllib2.py", line 154, in urlopen
    return opener.open(url, data, timeout)
  File "C:\Python27\lib\urllib2.py", line 423, in open
    protocol = req.get_type()
  File "C:\Python27\lib\urllib2.py", line 285, in get_type
    raise ValueError, "unknown url type: %s" % self.__original
ValueError: unknown url type: /index/1

运行的时候，出现了错误。这个错误出在：下载 /index/1 URL时。这个 /index/1 是目标站点中的一个相对链接，就是完整网页URL 的路径部分，而没有协议和服务器部分。我们使用download() 函数是没有办法下载的。在浏览器里浏览网页，相对链接是可以正常工作的，但是在使用 urllib2 下载网页时，因为无法知道上下文，所以无法下载成功。

---

七 . 改进代码

所以为了让urllib2 能够定为网页，我们需要将相对链接转换为绝对链接，这样方可解决问题。

Python 里面有可以实现这个功能的模块：urlparse。

下面对 link_crawler() 函数进行改进：

import urlparse
def link_crawler(seed_url, link_regex):
    """Crawl from the given seed URL following links matched by link_regex
    """
    crawl_queue = [seed_url]
    while crawl_queue:
        url = crawl_queue.pop()
        html = download(url)
        for link in get_links(html):
            if re.match(link_regex, link):
                link = urlparse.urljoin(seed_url, link)
                crawl_queue.append(link)

八 . 运行：

运行程序：

>>> link_crawler('http://example.webscraping.com', '/(index|view)')

输出：

Downloading:  http://example.webscraping.com
Downloading:  http://example.webscraping.com/index/1
Downloading:  http://example.webscraping.com/index/2
Downloading:  http://example.webscraping.com/index/3
Downloading:  http://example.webscraping.com/index/4
Downloading:  http://example.webscraping.com/index/5
Downloading:  http://example.webscraping.com/index/6
Downloading:  http://example.webscraping.com/index/7
Downloading:  http://example.webscraping.com/index/8
Downloading:  http://example.webscraping.com/index/9
Downloading:  http://example.webscraping.com/index/10
Downloading:  http://example.webscraping.com/index/11
Downloading:  http://example.webscraping.com/index/12
Downloading:  http://example.webscraping.com/index/13
Downloading:  http://example.webscraping.com/index/14
Downloading:  http://example.webscraping.com/index/15
Downloading:  http://example.webscraping.com/index/16
Downloading:  http://example.webscraping.com/index/17
Downloading:  http://example.webscraping.com/index/18
Downloading:  http://example.webscraping.com/index/19
Downloading:  http://example.webscraping.com/index/20
Downloading:  http://example.webscraping.com/index/21
Downloading:  http://example.webscraping.com/index/22
Downloading:  http://example.webscraping.com/index/23
Downloading:  http://example.webscraping.com/index/24
Downloading:  http://example.webscraping.com/index/25
Downloading:  http://example.webscraping.com/index/24
Downloading:  http://example.webscraping.com/index/25
Downloading:  http://example.webscraping.com/index/24
Downloading:  http://example.webscraping.com/index/25
Downloading:  http://example.webscraping.com/index/24

通过运行得到的结果，你可以看出来：虽然，现在可以下载网页没有出错，但是同样的网页会被不断的下载到。为什么会这样？这是因为这些链接URL相互之间存在链接。如果两个网页之间相互都有对方的链接，那么对着这个程序，它会不断死循环下去。

---

所以，我们还需要继续改进程序：避免爬取相同的链接，所以我们需要记录哪些链接已经被爬取过，如果已经被爬取过了，就不在爬取它。

九 . 继续改进 link_crawler()函数：

def link_crawler(seed_url, link_regex):
    crawl_queue = [seed_url]
    # keep track which URL's have seen before
    seen = set(crawl_queue)
    while crawl_queue:
        url = crawl_queue.pop()
        html = download(url)
        for link in get_links(html):
            # check if link matches expected regex
            if re.match(link_regex, link):
                # form absolute link
                link = urlparse.urljoin(seed_url, link)
                # check if have already seen this link
                if link not in seen:
                    seen.add(link)
                    crawl_queue.append(link)

十 . 运行：

>>> link_crawler('http://example.webscraping.com', '/(index|view)')

输出：

Downloading:  http://example.webscraping.com
Downloading:  http://example.webscraping.com/index/1
Downloading:  http://example.webscraping.com/index/2
Downloading:  http://example.webscraping.com/index/3
Downloading:  http://example.webscraping.com/index/4
Downloading:  http://example.webscraping.com/index/5
Downloading:  http://example.webscraping.com/index/6
Downloading:  http://example.webscraping.com/index/7
Downloading:  http://example.webscraping.com/index/8
Downloading:  http://example.webscraping.com/index/9
Downloading:  http://example.webscraping.com/index/10
Downloading:  http://example.webscraping.com/index/11
Downloading:  http://example.webscraping.com/index/12
Downloading:  http://example.webscraping.com/index/13
Downloading:  http://example.webscraping.com/index/14
Downloading:  http://example.webscraping.com/index/15
Downloading:  http://example.webscraping.com/index/16
Downloading:  http://example.webscraping.com/index/17
Downloading:  http://example.webscraping.com/index/18
Downloading:  http://example.webscraping.com/index/19
Downloading:  http://example.webscraping.com/index/20
Downloading:  http://example.webscraping.com/index/21
Downloading:  http://example.webscraping.com/index/22
Downloading:  http://example.webscraping.com/index/23
Downloading:  http://example.webscraping.com/index/24
Downloading:  http://example.webscraping.com/index/25
Downloading:  http://example.webscraping.com/view/Zimbabwe-252
Downloading:  http://example.webscraping.com/view/Zambia-251
Downloading:  http://example.webscraping.com/view/Yemen-250
Downloading:  http://example.webscraping.com/view/Western-Sahara-249

现在这个程序就是一个非常完美的程序，它会爬取所有地点，并且能够如期停止。最终，完美得到了一个可用的爬虫。

---

---

---

总结：

这样，我们就已经介绍了3种爬取一个站点或者一个网页里面所有的链接URL的源代码。这些只是初步的程序，接下来，我们还可能会遇到这样的问题：

1 . 如果一些网站设置了 禁止爬取的URL，我们为了执行这个站点的规则，就要按照它的 robots.txt 文件来设计爬取程序。

2 . 在国内是上不了google的，那么如果我们想要使用代理的方式上谷歌，就需要给我们的爬虫程序设置代理。

3 . 如果我们的爬虫程序爬取网站的速度太快，可能就会被目标站点的服务器封杀，所以我们需要限制下载速度。

4 . 有一些网页里面有类似日历的东西，这个东西里面的每一个日期都是一个URL链接，我们有不会去爬取这种没有意义的东西。日期是无止境的，所以对于我们的爬虫程序来说，这就是一个爬虫陷阱，我们需要避免陷入爬虫陷阱。

我们需要解决上这4个问题。才能得到最终版本的爬虫程序。