python-爬虫-scrapy

入门：

下载：pip install scrapy

工程：scrapy startproject 工程名

Spider: scrapy genspider 爬虫名 url  (--nolog//可选不显示日志)

简介：

持久化存储：

1 ：终端存储：scrapy crawl -o aaa.text

2 : 管道存储:items对象即穿过来的{}字典，之后存储

3： open_spider()---->链接数据库，close_spider()-->关闭数据库，process_item()--->存储

代理Ip：

1自定义下载中间件

middleware.py---》

class MyProxy(object):

def process_request(self,request,spider):

# 请求ip 更换

request.meta['proxy'] = "http://202.112.51.51:8082"

2 开启下载中间件

DOWNLOADER_MIDDLEWARES = {

'firstBlood.middlewares.MyProxy': 543,

}

日志等级：

1

ERROR：错误

WARNING：警告

INFO：一般信息

DEBUG：调试信息（默认）

指定日志信息等级：

settings:LOG_LEVEL = ‘ERROR’

将日志信息存储到制定文件中：

settings：LOG_FILE = ‘log.txt’

2 二级传参

yield scrapy.Request(url=url,callback=self.secondParse,meta={'item':ite

m})

调用：item = response.meta['item']

请求传参：

方式一：用scrapy.Requests(method='post')

方式二：重写start_request(self)方法(推荐)

class FanyiSpider(scrapy.Spider):

def start_requests(self):

data = {

'kw':'dog'

}

for url in self.start_urls:

# FormRequest发送post请求

yield scrapy.FormRequest(url=url,formdata=data,callback=self.parse)

CrawlSpider:

一般多层请求是多少层多少方法，或递归方法--->yield scrapy.Request(url,callback,meta)

特殊请求有多种：

一：初始请求化作请求队列，功能（获取url列表，不断请求，在新页面获取新url列表）

import scrapy
 
from scrapy.linkextractors import LinkExtractor
 
from scrapy.spiders import CrawlSpider, Rule
 
class CrawlspiderSpider(CrawlSpider):
 
name = 'crawlSpider'
 
start_urls = ['https://www.qiushibaike.com/text']  
 
rules = ( Rule(LinkExtractor(allow=r'/text/page/\d+'), callback='parse_item', follow=True),)
 
'''
 
LinkExtractor : 设置提取链接的规则（正则表达式）
 
allow=(), ： 设置允许提取的url
 
restrict_xpaths=(), ：根据xpath语法，定位到某一标签下提取链接
 
restrict_css=(), ：根据css选择器，定位到某一标签下提取链接
 
deny=(), ： 设置不允许提取的url（优先级比allow高）
 
allow_domains=(), ： 设置允许提取url的域
 
deny_domains=(), ：设置不允许提取url的域（优先级比allow_domains高）
 
unique=True, ：如果出现多个相同的url只会保留一个
 
strip=True ：默认为True,表示自动去除url首尾的空格
 
'''
 
'''
 
rule
 
link_extractor, : linkExtractor对象
 
callback=None, ： 设置回调函数
 
follow=None, ： 设置是否跟进
 
process_links=None, ：可以设置回调函数，对所有提取到的url进行拦截
 
process_request=identity ： 可以设置回调函数，对request对象进行拦截
 
'''
 
def parse_item(self, response):
 
    div_list = response.xpath('//div[@id="content‐left"]/div')
 
   for div in div_list:
 
   item = PhpmasterItem()
 
   author = div.xpath('./div/a[2]/h2/text()').extract_first()
 
   item['author'] = str(author).strip()
 
   # print(author)
 
   content = div.xpath('./a[1]/div/span/text()').extract()
 
   content = ''.join(content)
 
   item['content'] = str(content).strip()
 
   yield item

二：下载img时，把img_url传到管道中，管道中下载（请求方入下级）

Spider::yield item[‘img_url’]

Setting::IMAGES_STORE = './images/'

Pip::

from qiubaipic.settings import IMAGES_STORE as images_store
 
from scrapy.pipelines.images import ImagesPipeline
 
class QiubaipicPipeline(ImagesPipeline):
 
    def get_media_requests(self, item, info):
 
        img_link = "http:"+item['img_link']
 
        yield scrapy.Request(img_link)        

图片分组：

def file_path(self, request, response=None, info=None):
 
        '''完成图片存储路径'''
 
        img_name = request.url.split('/')[-1]  # 图片名
 
        file_name = request.meta['file_name']  # 路径
 
        image_guid = file_name + '/' + img_name  # 天价世界名画/2560580770.jpg
 
        img_path = IMAGES_STORE + file_name + '/'  # ./image/天价世界名画/    必须存在
 
        if not os.path.exists(img_path):
 
            os.makedirs(img_path)
 
        print(request.url)
 
        return '%s' % (image_guid)

分布式爬虫：

代理IP池和UA池

代理ip中间件：

http_list = []
 
https_list = []
 
def process_request(self, request, spider):
 
        h = request.url.split(':')[0]
 
        if h == 'http':
 
            http = 'http://'+random.choice(http_list)
 
        if h == 'https':
 
            http = 'https://'+random.choice(https_list)
 
        request.meta['proxy'] = http

Ua中间件：

user_agent_list = []
 
def process_request(self, request, spider):
 
        #从列表中随机抽选出一个ua值
 
        ua = random.choice(user_agent_list)
 
        # 4. ua值进行当前拦截到请求的ua的写入操作
 
        request.headers.setdefault('User-Agent',ua)

脚本运行scrapy项目：

项目下新建xxx.py；

from scrapy import cmdline
 
# 帮助我们直接执行scrapy 命令
 
cmdline.execute('scrapy crawl logrule --nolog'.split())