python代理池的构建5——对mongodb数据库里面代理ip检查

【python代理池的构建5——对mongodb数据库里面代理ip检查】的更多相关文章

python代理池的构建5——对mongodb数据库里面代理ip检查

上一篇博客地址:python代理池的构建4--mongdb数据库的增删改查一.对数据库里面代理ip检查(proxy_test.py) #-*-coding:utf-8-*- ''' 目的:检查代理IP可用性,保证代理池中代理IP基本可用思路 1.在proxy. _test.py中, 创建ProxyTester类 2.提供-一个run 方法,用于处理检测代理IP核心逻辑 2.1.从数据库中获取所有代理IP 2.2.遍历代理IP列表 2.3.检查代理可用性如果代理不可用,让代理分数-1,如果代…

python代理池的构建4——mongdb数据库的增删改查

上一篇博客地址:python代理池的构建3--爬取代理ip 一.mongdb数据库的增删改查(Mongo_pool.py) #-*-coding:utf-8-*- ''' 实现代理池的数据库模块 ●作用:用于对proxies 集合进行数据库的相关操作目标:实现对数据库增删改查相关操作步骤: 1.在init 中,建立数据连接,获取要操作的集合,在del方法中关闭数据库连接2.提供基础的增删改查功能 i.实现插入功能i.实现修改该功能 ili.实现删除代理:根据代理的IP删除代理iv.查询所有代理…

python代理池的构建3——爬取代理ip

上篇博客地址:python代理池的构建2--代理ip是否可用的处理和检查一.基础爬虫模块(Base_spider.py) #-*-coding:utf-8-*- ''' 目标: 实现可以指定不同URL列表,分组的XPATH和详情的XPATH,从不同页面上提取代理的IP,端口号和区域的通用爬虫; 步骤: 1.在base_ spider.py文件中,定义一个BaseSpider类, 继承object 2.提供三个类成员变量: urls:代理IP网址的URL的列表 group_ xpath:分组X…

python代理池的构建2——代理ip是否可用的处理和检查

上一篇博客地址:python代理池的构建1--代理IP类的构建,以及配置文件.日志文件.requests请求头一.代理ip是否可用的处理(httpbin_validator.py) #-*-coding:utf-8-*- #check ip ''' 目标:检查代理IP速度,匿名程度以及支持的协议类型. 步骤: 检查代理IP速度和匿名程度; 代理IP速度:就是从发送请求到获取响应的时间间隔匿名程度检查: 对http://httpbin.org/get 或https://httpbin.org/…

python代理池的构建1——代理IP类的构建，以及配置文件、日志文件、requests请求头

一.整体结构二.代理IP类的构建(domain.py文件) ''' 实现_ init_ 方法, 负责初始化,包含如下字段: ip: 代理的IP地址 port:代理IP的端口号 protocol: 代理IP支持的协议类型,http是0, https是1, https和http都支持是2 nick_ type: 代理IP的匿名程度,高匿:0,匿名: 1,透明:2 speed:代理IP的响应速度,单位s area:代理IP所在地区 score:代理IP的评分,用于衡量代理的可用性;默认分值可以通过配…

孤荷凌寒自学python第五十五天初识MongoDb数据库

孤荷凌寒自学python第五十五天第一天初识MongoDb数据库 (完整学习过程屏幕记录视频地址在文末) 大家好,2019年新年快乐! 本来我想的是借新年第一天开始,正式尝试学习爬虫,结果今天偶然发现还有一种被更广泛使用的Nosql数据库,而且还可以在本地建构本地化的数据库服务,这就是大名鼎鼎的:mongoDB 首先访问:https://www.mongodb.com/zh 这是中文界面的官方网站,比起firebase来,这网站加载要快一些. 一.简单总结下今天聊胜于无的一些收获 (一)mong…

python爬取大众点评并写入mongodb数据库和redis数据库

抓取大众点评首页左侧信息,如图: 我们要实现把中文名字都存到mongodb,而每个链接存入redis数据库. 因为将数据存到mongodb时每一个信息都会有一个对应的id,那样就方便我们存入redis可以不出错. # -*- coding: utf-8 -*- import re from urllib.request import urlopen from urllib.request import Request from bs4 import BeautifulSoup from lxml…