scrapy_随机ip代理池

什么是ip代理？

我们电脑访问网站，其实是访问远程的服务器，通过ip地址识别是那个机器访问了服务器，服务器就知道数据该返回给哪台机器，我们生活中所用的网络是局域网，ip是运营商随机分配的，是一种直接访问服务器的方式

代理服务器是一种间接方式，本地机器访问ip代理服务器，ip代理服务器帮我们发起服务请求，然后代理服务器接收数据返回给本机，由于中间有了层ip代理服务器，访问的速度和稳定性取决于代理服务器的性能

常规访问：

　　　　用户 >> ip  >> 服务器

代理访问：

　　　　用户用户 >> ip  >> 代理ip服务器 >> 服务器

最稳定的ip是自己的本地ip，免费ip很多人用，建议使用收费

有哪些好用的ip代理？

西刺免费代理：

　　　　建议选择高匿ip地址，访问服务器时候不带本地ip

如何设置ip代理池？

　　1. 建立一张数据表存放ip地址，端口，请求协议

　　2. 在公共方法中定义一个获取ip信息的爬虫

　　1 2 步已经完成：http://www.cnblogs.com/2bjiujiu/p/7355234.html

　　3. 从数据库中随机获取一行数据: select ip, port from 表名 order by rand() limit 1

　　4. 检查ip是否可有，可用，返回ip和端口，不可用删除ip和再次随机新的ip再次检查是否可用

#!/usr/bin/python3

__author__ = 'beimenchuixue'
__blog__ = 'http://www.cnblogs.com/2bjiujiu/'

import pymysql
import requests

class RandomIp(object):
    headers = {
        'Referer': 'https://www.baidu.com',
    }

    def __init__(self):
        # 初始化连接配置和连接参数
        db_settings = {
            'host': 'localhost',
            'db': 'db_name',
            'user': 'user_name',
            'password': 'password',
            'charset': 'utf8',
            'use_unicode': True
        }

        # self.db_setting = crawler.settings.get('db_setting')
        self.conn = pymysql.connect(**db_settings)
        self.cursor = self.conn.cursor()

    # # 获取配置文件中db_settings
    # @classmethod
    # def from_crawler(cls, crawler):
    #     return cls(crawler)

    def get_random_ip(self):
        """获取有效的ip地址"""
        # 建立索引映射
        ip, port, ip_type = 0, 1, 2
        # sql查询语句,随机获取一行值
        sql = 'select ip, port, ip_type from ip_server order by rand() limit 1'
        try:
            # 从数据库中获取一行值
            self.cursor.execute(sql)
            # 对于查询结果不能直接获取，需要通过fetchall，索引来取每个值
            for info in self.cursor.fetchall():
                ip = info[ip]
                port = info[port]
                ip_type = info[ip_type]
        except Exception as e:
            print(e)
        else:
            effective_ip = self.check_ip(ip, port, ip_type)
            if effective_ip:
                return effective_ip
            else:
                self.del_usedless_ip(ip)
                return self.get_random_ip()

    def check_ip(self, ip, port, ip_type):
        """检查这个ip是否有效"""
        http_url = 'https://www.baidu.com'
        proxy_url = '{ip_type}://{ip}:{port}'.format(ip_type=ip_type.lower(), ip=ip, port=port)
        try:
            prox_dict = {
                'http': proxy_url
            }
            response = requests.get(http_url, proxies=prox_dict, headers=self.headers)
        except Exception as e:
            print(e)
            return False
        else:
            if 200 <= response.status_code <= 300:
                return proxy_url
            else:
                self.del_usedless_ip(ip)
                return False
        pass

    def del_usedless_ip(self, ip):
        """删除无效的ip"""
        sql = 'delete from ip_server where ip=%s' % ip
        self.cursor.execute(sql)
        self.conn.commit()

if __name__ == '__main__':
    # 测试
    ip = RandomIp()
    effective_ip = ip.get_random_ip()
    print(effective_ip)
    pass

　　5. 在middlewares中添加以类

from tools.random_ip import RandomIp
# 导入获取随机ip的类，就是上面写的类

class RandomIpMiddleware(object):

    def process_request(self, request, spider):
        # 更改代理ip，但是很不稳定
        get_ip = RandomIp()
        request.meta['proxy'] = get_ip.get_random_ip()

　　6. setting中注册

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'infoisland.middlewares.RandomUserAgentMiddleware': 400,
    'infoisland.middlewares.RandomIpMiddleware': 600,

}

如何使用第三方库？

scrapy-proxies   　　　　文件方式读取，可自行修改       -- githup搜索

scrapy-crawlera                -- 收费

tor                        　　       -- 洋葱浏览器，多次转发，经过洋葱，实现ip匿名，安全稳定，需要vpn