import requests

from pyquery import PyQuery as pq

base_headers = {

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36',

    'Accept-Encoding': 'gzip, deflate, sdch',

    'Accept-Language': 'zh-CN,zh;q=0.8'

}

def get_page(url):

    headers = dict(base_headers)

    print('Getting',url)

    try:

        r = requests.get(url,headers=headers)

        print('Getting result',url,r.status_code)

        if r.status_code == 200:

            return r.text

    except ConnectionError:

        pritn('Cramling Failed',url)

        return None

# 道生一：创建抽取代理的metaclass

class ProxyMetaclass(type):

    """

        元类，在FreeProxyGetter类中加入

        __CrawlName__,__CrawlFunc__和__CrawlFuncCount__

        三个参数，分别表示爬虫函数名，函数实例和爬虫函数的数量。

    """

    # __new__控制__init__的执行，所以在其执行之前

    # cls:代表要__init__的类，此参数在实例化时由Python解释器自动提供

    # name:类名

    # bases：代表继承父类的集合

    # attrs：类的方法及属性的集合

    def __new__(cls, name, bases, attrs):

        count = 0

        # 在attrs字典加入两个key,key的值是个列表

        attrs['__CrawlFunc__'] = []

        attrs['__CrawlName__'] = []

        for k, v in attrs.items():

            if 'crawl_' in k:

                attrs['__CrawlName__'].append(k) #函数名依次添加进attrs['__CrawlName__']列表

                attrs['__CrawlFunc__'].append(v) #函数实例依次添加进attrs['__CrawlFunc__']列表

                print(k,v)

                #print(attrs['__CrawlName__'])

                count += 1

        for k in attrs['__CrawlName__']:

            # 剔除原有的字典键值对

            attrs.pop(k)

        attrs['__CrawlFuncCount__'] = count

        print(attrs)

        return type.__new__(cls, name, bases, attrs)

# 一生二：创建代理获取类

class ProxyGetter(object, metaclass=ProxyMetaclass):

    def get_raw_proxies(self, site):

        proxies = []

        print('Site', site)

        for func in self.__CrawlFunc__:

            if func.__name__==site:

                this_page_proxies = func(self)

                for proxy in this_page_proxies:

                    print('Getting', proxy, 'from', site)

                    proxies.append(proxy)
　　　　　　　　　　print(proxies)

        return proxies

    def crawl_daili66(self, page_count=4):

        start_url = 'http://www.66ip.cn/{}.html'

        urls = [start_url.format(page) for page in range(1, page_count + 1)] # format和%s的用法一样

        for url in urls:

            print('Crawling', url)

            html = get_page(url)

            if html:

                doc = pq(html)

                trs = doc('.containerbox table tr:gt(0)').items()

                for tr in trs:

                    ip = tr.find('td:nth-child(1)').text()

                    port = tr.find('td:nth-child(2)').text()

                    yield ':'.join([ip, port])

　　'''

    def crawl_proxy360(self):

        start_url = 'http://www.proxy360.cn/Region/China'

        print('Crawling', start_url)

        html = get_page(start_url)

        if html:

            doc = pq(html)

            lines = doc('div[name="list_proxy_ip"]').items()

            for line in lines:

                ip = line.find('.tbBottomLine:nth-child(1)').text()

                port = line.find('.tbBottomLine:nth-child(2)').text()

                yield ':'.join([ip, port])

　　'''

    def crawl_goubanjia(self):

        start_url = 'http://www.goubanjia.com/free/gngn/index.shtml'

        html = get_page(start_url)

        if html:

            doc = pq(html)

            tds = doc('td.ip').items()

            for td in tds:

                td.find('p').remove()

                yield td.text().replace(' ', '')

if __name__ == '__main__':

    # 二生三：实例化ProxyGetter

    crawler = ProxyGetter()

    print(crawler.__CrawlName__)

    # 三生万物

    for site_label in range(crawler.__CrawlFuncCount__):

        site = crawler.__CrawlName__[site_label] # site_label是列表的索引值

        myProxies = crawler.get_raw_proxies(site)

运行结果

D:\pythontest>python proxy_ip.py

crawl_goubanjia <function ProxyGetter.crawl_goubanjia at 0x00000000035D2510>

crawl_daili66 <function ProxyGetter.crawl_daili66 at 0x00000000035D2488>

{'__qualname__': 'ProxyGetter', '__module__': '__main__', '__CrawlName__': ['cra

wl_goubanjia', 'crawl_daili66'], '__CrawlFunc__': [<function ProxyGetter.crawl_g

oubanjia at 0x00000000035D2510>, <function ProxyGetter.crawl_daili66 at 0x000000

00035D2488>], 'get_raw_proxies': <function ProxyGetter.get_raw_proxies at 0x0000

0000035D2400>, '__CrawlFuncCount__': }

['crawl_goubanjia', 'crawl_daili66']

Site crawl_goubanjia

Getting http://www.goubanjia.com/free/gngn/index.shtml

Getting result http://www.goubanjia.com/free/gngn/index.shtml 403

[]

Site crawl_daili66

Crawling=== http://www.66ip.cn/1.html

Getting http://www.66ip.cn/1.html

Getting result http://www.66ip.cn/1.html 200

Getting 123.163.97.198: from crawl_daili66

Getting 36.249.109.21: from crawl_daili66

Getting 163.204.245.52: from crawl_daili66

Getting 222.189.247.207: from crawl_daili66

Getting 87.250.218.12: from crawl_daili66

Getting 118.172.176.61: from crawl_daili66

Getting 134.119.214.206: from crawl_daili66

Getting 110.74.208.154: from crawl_daili66

Crawling=== http://www.66ip.cn/2.html

Getting http://www.66ip.cn/2.html

Getting result http://www.66ip.cn/2.html 200

Getting 120.234.138.102: from crawl_daili66

Getting 110.86.136.127: from crawl_daili66

Getting 59.57.38.197: from crawl_daili66

Getting 202.62.86.94: from crawl_daili66

Getting 210.22.176.146: from crawl_daili66

Getting 180.183.136.212: from crawl_daili66

Getting 183.87.153.98: from crawl_daili66

Getting 222.124.2.186: from crawl_daili66

Getting 123.169.126.9: from crawl_daili66

Getting 123.169.126.93: from crawl_daili66

Getting 158.255.249.58: from crawl_daili66

Getting 1.198.72.242: from crawl_daili66

Crawling=== http://www.66ip.cn/3.html

Getting http://www.66ip.cn/3.html

Getting result http://www.66ip.cn/3.html 200

Getting 163.204.246.10: from crawl_daili66

Getting 186.159.112.6: from crawl_daili66

Getting 163.204.246.102: from crawl_daili66

Getting 88.87.72.72: from crawl_daili66

Getting 193.169.118.6: from crawl_daili66

Getting 196.216.220.204: from crawl_daili66

Getting 185.109.62.124: from crawl_daili66

Getting 1.193.246.78: from crawl_daili66

Getting 188.131.239.119: from crawl_daili66

Getting 1.10.188.93: from crawl_daili66

Getting 182.116.237.203: from crawl_daili66

Getting 139.99.223.230: from crawl_daili66

Crawling=== http://www.66ip.cn/4.html

Getting http://www.66ip.cn/4.html

Getting result http://www.66ip.cn/4.html 200

Getting 163.204.246.232: from crawl_daili66

Getting 117.28.96.105: from crawl_daili66

Getting 202.29.220.34: from crawl_daili66

Getting 123.169.114.80: from crawl_daili66

Getting 115.42.34.3: from crawl_daili66

Getting 41.84.131.78: from crawl_daili66

Getting 123.163.96.207: from crawl_daili66

Getting 182.35.83.12: from crawl_daili66

Getting 191.241.226.230: from crawl_daili66

Getting 202.138.236.35: from crawl_daili66

Getting 194.1.193.226: from crawl_daili66

Getting 202.158.77.122: from crawl_daili66

['123.163.97.198:9999', '36.249.109.21:9999', '163.204.245.52:9999', '222.189.247.207:9999', '87.250.218.12:44168',
'118.172.176.61:8080', '134.119.214.206:1080', '110.74.208.154:21776', '120.234.138.102:53779', '110.86.136.127:9999',
'59.57.38.197:9999', '202.62.86.94:83', '210.22.176.146:37299', '180.183.136.212:8080', '183.87.153.98:49602',
'222.124.2.186:8080', '123.169.126.9:3', '123.169.126.93:9999', '158.255.249.58:50100', '1.198.72.242:9999',
'163.204.246.10:2', '186.159.112.6:53281', '163.204.246.102:9999', '88.87.72.72:8080', '193.169.118.6:53281',
'185.109.62.124:808', '1.193.246.78:9999', '188.131.239.119:8118', '1.10.188.93:34871', '182.116.237.203:9999',
'139.99.223.230:8080', '163.204.246.232:9999', '117.28.96.105:9999', '202.29.220.34:38961', '123.169.114.80:9999',
'115.42.34.3:8080', '41.84.131.78:53281', '123.163.96.207:9999', '182.35.83.12:9999', '191.241.226.230:53281',
'202.138.236.35:56413', '194.1.193.226:35646','196.216.220.204:36739', '202.158.77.122:47284']



//看来只有一个代理网站能爬到数据


												


											
Python 爬取各大代理IP网站(元类封装)的更多相关文章
	

    
								
  1. python爬取高匿代理IP（再也不用担心会进小黑屋了）
		
    为什么要用代理IP 很多人学习python,不知道从何学起.很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手.很多已经做案例的人,却不知道如何去学习更加高深的知识.那么针对这三类人 ...
    
		
    2. 
						
  2. 利用Python爬取可用的代理IP
		
    前言 就以最近发现的一个免费代理IP网站为例:http://www.xicidaili.com/nn/.在使用的时候发现很多IP都用不了. 所以用Python写了个脚本,该脚本可以把能用的代理IP检测 ...
    
		
    3. 
						
  3. 手把手教你使用Python爬取西刺代理数据（下篇）
		
    /1 前言/ 前几天小编发布了手把手教你使用Python爬取西次代理数据(上篇),木有赶上车的小伙伴,可以戳进去看看.今天小编带大家进行网页结构的分析以及网页数据的提取,具体步骤如下. /2 首页分析 ...
    
		
    4. 
						
  4. python scrapy 爬取西刺代理ip(一基础篇)（ubuntu环境下）  -赖大大
		
    第一步:环境搭建 1.python2 或 python3 2.用pip安装下载scrapy框架 具体就自行百度了,主要内容不是在这. 第二步:创建scrapy(简单介绍) 1.Creating a p ...
    
		
    5. 
						
  5. python+scrapy 爬取西刺代理ip(一)
		
    转自:https://www.cnblogs.com/lyc642983907/p/10739577.html 第一步:环境搭建 1.python2 或 python3 2.用pip安装下载scrap ...
    
		
    6. 
						
  6. 学以致用:Python爬取廖大Python教程制作pdf
		
    当我学了廖大的Python教程后,感觉总得做点什么,正好自己想随时查阅,于是就开始有了制作PDF这个想法. 想要把教程变成PDF有三步: 先生成空html,爬取每一篇教程放进一个新生成的div,这样就 ...
    
		
    7. 
						
  7. 深夜，我用python爬取了整个斗图网站，不服来斗
		
    QQ.微信斗图总是斗不过,索性直接来爬斗图网,我有整个网站的图,不服来斗. 废话不多说,选取的网站为斗图啦,我们先简单来看一下网站的结构 网页信息 从上面这张图我们可以看出,一页有多套图,这个时候我们 ...
    
		
    8. 
						
  8. Scrapy爬取西刺代理ip流程
		
    西刺代理爬虫 1. 新建项目和爬虫 scrapy startproject daili_ips ...... cd daili_ips/ #爬虫名称和domains scrapy genspider  ...
    
		
    9. 
						
  9. python爬取网站数据
		
    开学前接了一个任务,内容是从网上爬取特定属性的数据.正好之前学了python,练练手. 编码问题 因为涉及到中文,所以必然地涉及到了编码的问题,这一次借这个机会算是彻底搞清楚了. 问题要从文字的编码讲 ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. Centos MySQL 5.7安装、升级教程
			
    MySQL 5.7安装.升级笔记分享: 卸载当前的 MySQL 查看当前 MySQL 版本: ? 1 2 [root@coderknock ~]# mysql -V mysql Ver 14.14 D ...
    
			
    2. 
						
  2. LA 3971 Assemble（二分）
			
    题目: 给你b元钱,让你组装一台电脑,有n个配件,属性有 种类 名字 价格 品质,每种类型选至少一个,并且最小品质最大.输出这个最大的最小品质. 白书上说了,最小值最大的问题一般是二分来求解答案.在这 ...
    
			
    3. 
						
  3. Network基础(五)：配置静态路由、配置浮动路由、配置多路由的静态路由、配置默认路由
			
    一.配置静态路由 目标: 配置路由接口IP地址并通过静态路由的配置实现全网的互通. 方案: 按如下网络拓扑配置接口IP地址并通过静态路由的配置实现全网的互通如下图所示: 步骤: 步骤一:配置静态路由  ...
    
			
    4. 
						
  4. delphi 监控文件系统
			
    elphi 监控文件系统 你是否想为你的Windows加上一双眼睛,察看使用者在机器上所做的各种操作(例如建立.删除文件:改变文件或目录名字)呢? 这里介绍一种利用Windows未公开函数实现这个功能 ...
    
			
    5. 
						
  5. echarts绘制饼图时的一点特殊设置
			
    最后的效果如图,需要在中间展示的部分换行然后字体大小不同. 以下为option的设置,使用rich里面的参数来设置更多的文本样式,使用‘\n’来控制换行 let option = { color: c ...
    
			
    6. 
						
  6. 使用 nuxt+iview-admin+koa2 开发项目
			
    公司最近在做的一个项目,依然是采用熟悉的vue开发,数据平台因为其数据量大的特点,采用传统的spa模式,首页加载时间很长,而SSR这种方式对于首屏的加载时间优化显而易见,同时还可以方便的进行SEO.因 ...
    
			
    7. 
						
  7. 基于C#的波形显示控件的实现[转]
			
    编者记: 09年暑假正好在学院实验室呆了一段时间,做了个完整的上位机软件(具体实现:根据下位机的指令,实现通过串口来操纵下位机进行实验,并将采集的数据进行处理和保存,并以图形的方式显示),整个项目边学 ...
    
			
    8. 
						
  8. java 实现一套流程管理、流转的思路（伪工作流） 【仅供参考】
			
    转: java 实现一套流程管理.流转的思路(伪工作流) 在做某个管理项目时,被要求实现一套流程管理,比如请假的申请审批流程等,在参考了很多资料,并和同事讨论后,得到了一个自主实现的流程管理. 以下提 ...
    
			
    9. 
						
  9. OO七大设计原则
			
    一.单一职责原则(Single Responsibility Principle,SRP) 含义: 1.避免相同的职责分散到不同的类中 2.避免一个类承担太多职责 作用: 1.可以减少类之间的耦合 2 ...
    
			
    10. 
						
  10. elementui表格表头合并
			
    第一步:用多级表头,该删删 该减减 第二步:使用header-cell-style属性
    
			
    11.