代码集编号 20170918-00

  1. import random #随机数模块
  2. import urllib.request #常用爬虫模块
  3. import time
  4. from bs4 import BeautifulSoup #网页页面优化模块
  5. import re #正则模块
  6. import json #json数据分析模块
  7.  
  8. url="http://www.whatismyip.com.tw/"
  9. real=input("请输入您的真实ip:")
  10. url1="http://www.baidu.com/" #用代理ip访问百度用以验证
  11.  
  12. #**********************************************************************************
  13.  
  14. def text(textip): #定义函数
  15. proxy_support = urllib.request.ProxyHandler({'http':textip})
  16. opener=urllib.request.build_opener(proxy_support) #接入代理ip
  17. opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.96 Safari/537.36')] #替换头部
  18. urllib.request.install_opener(opener)
  19. try:
  20. response = urllib.request.urlopen(url1, timeout=5) #访问百度,定义延迟时间
  21. x=0
  22. except:
  23. x=1
  24. return x
  25.  
  26. #*******************************************************************************************************
  27.  
  28. while 1==1: #主程序
  29. textip=input("请输入要验证的ip和端口:")
  30.  
  31. print("----------------------正在验证--------------------------")
  32.  
  33. text(textip)
  34. x=text(textip)
  35.  
  36. if x == 0: #获取返回值
  37. response=urllib.request.urlopen(url)
  38. html = response.read().decode('utf-8')
  39.  
  40. soup=BeautifulSoup(html,'html.parser')
  41.  
  42. y=re.compile(r'<script id="ip-json" type="application/json">([\s\S]*?)</script>')
  43. a=y.findall(str(soup))
  44.  
  45. dicip=eval(a[0]) #将字符串转化为字典
  46. print(dicip['ip-real']) #在url中找到自己的ip-real一项 并与自己输入的真时ip比较,从而判断是否为高匿ip
  47. if dicip['ip-real']==real:
  48. print("代理有效,但不属于匿名代理")
  49. else:
  50. print("代理有效,属于匿名代理")
  51. else:
  52. print("连接超时,该代理无效或者超时")
  53.  
  54. print("-------------------------------------------------$$$$-------")
  55.  
  56. #**************************************************************************************************************
  57. # 本代码 @ 1,使用代理ip 2,隐藏(替换)头部 3,爬虫基本代码 4,将字符串转化为字典 函数 eval()

20170918-00-(代理ip检验)的更多相关文章

  1. python检验代理ip是否可用、代理ip检验

    python检验代理ip是否可用.代理ip检验 安装相关模块: pip install requests 验证代理IP是否可用脚本: import random import telnetlib im ...

  2. python爬虫实战(一)——实时获取代理ip

    在爬虫学习的过程中,维护一个自己的代理池是非常重要的. 详情看代码: 1.运行环境 python3.x,需求库:bs4,requests 2.实时抓取西刺-国内高匿代理中前3页的代理ip(可根据需求自 ...

  3. 可能是一份没什么用的爬虫代理IP指南

    写在前面 做爬虫的小伙伴一般都绕不过代理IP这个问题. PS:如果还没遇到被封IP的场景,要不就是你量太小人家懒得理你,要不就是人家压根不在乎... 爬虫用户自己是没有能力维护一系列的代理服务器和代理 ...

  4. 第三百四十八节,Python分布式爬虫打造搜索引擎Scrapy精讲—通过自定义中间件全局随机更换代理IP

    第三百四十八节,Python分布式爬虫打造搜索引擎Scrapy精讲—通过自定义中间件全局随机更换代理IP 设置代理ip只需要,自定义一个中间件,重写process_request方法, request ...

  5. 二十七 Python分布式爬虫打造搜索引擎Scrapy精讲—通过自定义中间件全局随机更换代理IP

    设置代理ip只需要,自定义一个中间件,重写process_request方法, request.meta['proxy'] = "http://185.82.203.146:1080&quo ...

  6. 使用精灵代理ip最节约成本的策略!

    使用ip代理业务用例 1.使用精灵代理(http://www.jinglingdaili.com/Shop-index.html),通过Api获取,每次返回一个固定时间(五分钟)的IP,然后将获取到的 ...

  7. python爬虫成长之路(二):抓取代理IP并多线程验证

    上回说到,突破反爬虫限制的方法之一就是多用几个代理IP,但前提是我们得拥有有效的代理IP,下面我们来介绍抓取代理IP并多线程快速验证其有效性的过程. 一.抓取代理IP 提供免费代理IP的网站还挺多的, ...

  8. Wireshark抓包分析/TCP/Http/Https及代理IP的识别

    前言 坦白讲,没想好怎样的开头.辗转三年过去了.一切已经变化了许多,一切似乎从没有改变. 前段时间调研了一次代理相关的知识,简单整理一下分享之.如有错误,欢迎指正. 涉及 Proxy IP应用 原理/ ...

  9. 使用TaskManager爬取2万条代理IP实现自动投票功能

    话说某天心血来潮想到一个问题,朋友圈里面经常有人发投票链接,让帮忙给XX投票,以前呢会很自觉打开链接帮忙投一票.可是这种事做多了就会考虑能不能使用工具来进行投票呢,身为一名程序猿决定研究解决这个问题. ...

随机推荐

  1. AWS学习笔记

    VPC :虚拟局域网 EC2 :虚拟机 RDS :关系型数据库的管理平台 ElasticCache: 缓存系统的管理平台 ELB :可伸缩的负载均衡(私有子网中的web服务通过elb暴露到公网中) A ...

  2. 牛客网Wannafly挑战赛25A 因子 数论

    正解:小学数学数论 解题报告: 传送门 大概会连着写几道相对而言比较简单的数学题,,,之后就会比较难了QAQ 所以这题相对而言还是比较水的,,, 首先这种题目不难想到分解质因数趴,, 于是就先对p和n ...

  3. ubuntu安装jupyter 并设置远程访问

    Jupyter Notebook是一个Web应用程序,允许您创建和共享包含实时代码,方程,可视化和说明文本的文档. 简单的介绍就是:Jupyter Notebook是Ipython的升级版,而Ipyt ...

  4. Verilog如何从外部更改模块内参数

    例如有一个模块 module x(a,b,c); input a,b; output c; 'd0, h=9'd3; ...... endmodule 两种解决方法: 1.使用带有参数值的模块实例语句 ...

  5. mysql创建计算列(5.7以后才有)

    mysql创建计算列   mysql> create table t(id int auto_increment not null,c1 int,c2 int,c3 int as (c1+c2) ...

  6. Python3学习之路~5.4 os模块

    用于提供系统级别的操作 os.getcwd() 获取当前工作目录,即当前python脚本工作的目录路径 os.chdir("dirname") 改变当前脚本工作目录:相当于shel ...

  7. 4 jmeter badboy脚本开发技术详解

    badboy中的检查点 以www.sogou.com搜索为例演示,搜索badboy. 1.打开badboy工具,点击红色按钮开始录制,在地址栏目中输入地址:www.sogou.com,回车. 2.输入 ...

  8. Java Script注意事项

    1.HTML中,打错标点符号 或输入格式不对(多输等号 或少加括号等) 会导致字体颜色不对劲 2.写Java Script时通常的做法是把函数放入 <head> 部分中,或者放在页面底部. ...

  9. TCP、UDP和HTTP详解

    http:是用于www浏览的一个协议.tcp:是机器之间建立连接用的到的一个协议. 1.TCP/IP是个协议组,可分为三个层次:网络层.传输层和应用层.在网络层有IP协议.ICMP协议.ARP协议.R ...

  10. python-类属性和对象属性(转)

    class People(object): # 类属性是指定义在类的内部而且在方法的外部的属性 money = 10000 def __init__(self,name,age,gender=1): ...