安装:  pip install  mitmproxy

新建一个脚本

脚本代码：

  1.  from mitmproxy import ctx
  2.  
  3.  injected_javascript = '''
  4.  // overwrite the `languages` property to use a custom getter
  5.  Object.defineProperty(navigator, "languages", {
  6.    get: function() {
  7.      return ["zh-CN","zh","zh-TW","en-US","en"];
  8.    }
  9.  });
  10.  // Overwrite the `plugins` property to use a custom getter.
  11.  Object.defineProperty(navigator, 'plugins', {
  12.    get: () => [1, 2, 3, 4, 5],
  13.  });
  14.  // Pass the Webdriver test
  15.  Object.defineProperty(navigator, 'webdriver', {
  16.    get: () => false,
  17.  });
  18.  // Pass the Chrome Test.
  19.  // We can mock this in as much depth as we need for the test.
  20.  window.navigator.chrome = {
  21.    runtime: {},
  22.    // etc.
  23.  };
  24.  // Pass the Permissions Test.
  25.  const originalQuery = window.navigator.permissions.query;
  26.  window.navigator.permissions.query = (parameters) => (
  27.    parameters.name === 'notifications' ?
  28.      Promise.resolve({ state: Notification.permission }) :
  29.      originalQuery(parameters)
  30.  );
  31.  '''
  32.  
  33.  def response(flow):
  34.      # Only process 200 responses of HTML content.
  35.      if not flow.response.status_code == 200:
  36.          return
  37.  
  38.      # Inject a script tag containing the JavaScript.
  39.      html = flow.response.text
  40.      html = html.replace('<head>', '<head><script>%s</script>' % injected_javascript)
  41.      flow.response.text = str(html)
  42.      ctx.log.info('插入成功 ')
  43.

然后运行mitmdump

mitmdump -s xxxx.py

默认为8080端口，将webDriver设置代理127.0.0.1:8080

然后就能监听和修改selenium特征了。

使用 mitmdump 进行 selenium webDriver绕过网站反爬服务的方法 pdd某宝 可用的更多相关文章

  1. selenium WebDriver 截取网站的验证码

    在做爬虫项目的时候,有时候会遇到验证码的问题,由于某些网站的验证码是动态生成的,即使是同一个链接,在不同的时间访问可能产生不同的验证码, 一 刚开始的思路就是打开这个验证码的链接,然后通过java代码 ...

  2. Python | 常见的反爬及解决方法，值得收藏

    我们都知道Python用来爬数据,为了不让自家的数据被别人随意的爬走,你知道怎么反爬吗?今天播妞带着大家一起见识见识常见的反爬技术. 很多人学习python,不知道从何学起.很多人学习python,掌 ...

  3. selenium webdriver 相关网站

    ITeye:http://shijincheng0223.iteye.com/blog/1481446 http://ztreeapi.iteye.com/blog/1750554 http://sm ...

  4. selenium+webdriver+python 中警告框的处理方法

    在自动化测试过程中,经常会遇到弹出警告框的情况,如图所示: 在 WebDriver 中处理 JavaScript 所生成的 alert.confirm 以及 prompt 是很简单的.具体做法是使用  ...

  5. Selenium webdriver定位iframe里面元素两种方法

    以东方财富网登录页面为例: 在查找元素过程中,直接通过id或者xpath等找不到元素,查看页面源代码发现元素是属于iframe里,例如: <div class="wrap_login& ...

  6. 如果对方网站反爬取，封IP了怎么办？

    放慢抓取熟速度,减小对目标网站造成的压力,但是这样会减少单位时间内的数据抓取量 使用代理IP(免费的可能不稳定,收费的可能不划算)

  7. python + selenium webdriver 复合型css样式的元素定位方法

    <div class="header layout clearfix"></div> 当元素没有id,没有name,没有任何,只有一个class的时候,应该 ...

  8. python爬虫之字体反爬

    一.什么是字体反爬? 字体反爬就是将关键性数据对应于其他Unicode编码,浏览器使用该页面自带的字体文件加载关键性数据,正常显示,而当我们将数据进行复制粘贴.爬取操作时,使用的还是标准的Unicod ...

  9. 【Python必学】Python爬虫反爬策略你肯定不会吧？

    前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 正文 Python爬虫反爬策略三部曲,拥有这三步曲就可以在爬虫界立足了: ...

随机推荐

  1. FSM有限状态机 ---C#、Unity

    抽象类State public interface State//定义状态接口 { void Init();//初始化 int GetCurrentStateId();//返回当前状态Id void ...

  2. luogu P1582 倒水 |数学

    题目描述 一天,CC买了N个容量可以认为是无限大的瓶子,开始时每个瓶子里有1升水.接着~~CC发现瓶子实在太多了,于是他决定保留不超过K个瓶子.每次他选择两个当前含水量相同的瓶子,把一个瓶子的水全部倒 ...

  3. openstack网络（一）

    什么是OpenStack Networking OpenStack网络的特性 交换机 路由器 负载均衡 防火墙 虚拟专用网络 网络功能虚拟化 网络类型 管理网络 API 网络 外部网络 访客网络 在一 ...

  4. DataFrame 链式赋值

    在运行以下Python代码时,Pandas抛出SettingWithCopyWarning警告: row_data = df_pred.loc[key] row_data['col'] = new_v ...

  5. mybatis注解

    @select查詢 @insert添加 @delete刪除 @update修改 @Results自关联 @Results映射 @One UserByRole表: RoleByUser表: @Many ...

  6. 小白进阶—python中os模块用法

    一.os模块概述 python中的os 模块包含普遍的操作系统功能,这个模块不受平台限制,即windows和linux上都适用. 二.常用方法 1.os.name 返回正在使用的平台.如果是windo ...

  7. Python的re模块，正则表达式书写方法

    Python的re模块,正则表达式 #导入re模块 import  re 1.match方法的使用: result = re.match(正则表达式,待匹配的字符串) 正则表达式写法: 第一部分: 字 ...

  8. 【Java Web开发学习】Spring MVC文件上传

    [Java Web开发学习]Spring MVC文件上传 转载:https://www.cnblogs.com/yangchongxing/p/9290489.html 文件上传有两种实现方式,都比较 ...

  9. 这道面试必问的JVM面试题70%的Java程序员会做错

    前言 聊聊JVM,一个熟悉又陌生的名词,从认识Java的第一天起,我们就会听到这个名字,在参加工作的前一两年,面试的时候还会经常被问到JDK,JRE,JVM这三者的区别. JVM可以说和我们是老朋友了 ...

  10. ThinkPhp RBAC实现原理

    RBAC是英文Role-Based Access Control的缩写,是基于角色访问进行控制的机制.意思是给每个用户设定一个角色,然后根据这个角色来判断用户的权限. 在此基于ThinkPhp的MVC ...