9.3.3 scrapy 框架

　　scrapy是一个非常好用的Web爬虫框架，非常适合抓取Web站点从网页中提取结构化的数据，并且支持自定义的需求。在使用scrapy爬取网页数据时，除了熟悉HTML标签，还需要了解目标网页的数据组织结构，确定要爬取什么信息，这样才能针对性地编写爬虫程序。

　　使用pip命令安装好scrapy扩展库。在安装过程中遇到的报错需要自己根据报错内容百度并解决，培养自己动手解决问题的能力。

 import scrapy
 import os
 import urllib.request

 #自定义一个爬虫类
 class MySpider(scrapy.spiders.Spider):
     #爬虫的名字，每个爬虫都必须有不同的名字，类变量
     name = 'mySpider'
     allowed_domains=['www.sdibt.edu.cn']

     #要爬取的其实页面，必须是列表，可以匹配多个RUL
     start_urls = ['http://www.sdibt.edu.cn/info/1026/11238.htm']

     #针对每个要爬取的网页，会自动调用下面这个方法
     def parse(self,response):
         self.downloadWebpage(response)
         self.downloadImages(response)

         #检查页面中的超链接，并继续爬取
         hxs = scrapy.Selector(response)
         sites = hxs.spath('//ul/li')

         for site in sites:
             link = site.xpath('a/@href').extract()[0]
             if link == '#':
                 continue
             #把相对地址转换为绝对地址
             elif link.startswith('..'):
                 next_url = os.path.dirname(response.rul)
                 next_url += '/' + link
             else:
                 next_url = link

             #生成Request对象，并指定回调函数
             yield scrapy.Request(url = next_url,callback = self.parse_item)

     #回调函数，对起始页面中的每个超链接其作用
     def parse_item(self,response):
         self.downloadWebpage(response)
         self.downloadImages(response)

     #下载当前页面中所有图片
     def downloadImages(self,response):
         hxs = scrapy.Selector(response)
         images = hxs.xpath('//img/@src').extract()

         for image_url in images:
             imageFilename = image_url.split('/')[-1]
             if os.path.exists(imageFilename):
                 continue

             #把相对地址转换为绝对地址
             if image_url.startswith('..'):
                 image_url = os.path.dirname(response.url) + '/' + image_url

             #打开网页图片
             fp=urllib.request.urlopen(image_url)
             #创建本地图片文件
             with open(imageFilename,'wb') as f:
                 f.write(fp.read())
             fp.close()

     #把网页内容保存为本地文件
     def downloadWebpage(self,response):
         filename = response.rul.split('/')[-1]
         with open(filename,'wb') as f:
             f.write(response.body)

　　最后在命令提示符环境中执行下面的命令启动爬虫程序开始爬取数据：

　　scrapy crawl mySpider

　　Scrapy入门教程链接：

　　http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html