在使用爬虫中,经常会遇到网页请求数据是经过 JS 处理的,特别是模拟登录时可能有加密请求.而目前绝大部分前端 JS 代码都是经过混淆的,可读性极低,想理解代码逻辑需要花费大量时间.这时不要着急使用 Selenium 暴力解决,毕竟 Selenium 严重拖慢爬虫效率,我们可以尝试使用一些第三方库,来直接执行前端 JS 代码得到处理过后的结果. PyExecJS 这个库主要是将 JS 代码运行在本地的 JS 环境中,优点是我们有多种 JS 环境的选择,官方推荐了 PyV8.Node.js.Phan…

一.Python执行JS代码--PyExecJS.PyV8.Js2Py 1.1.PyExecJS PyExecJS的优点是您不需要照顾JavaScript环境.特别是,它可以在Windows环境中运行,而无需安装额外的库.PyExecJS的缺点之一是性能.PyExecJS通过文本传达JavaScript运行时,并且运行缓慢.另一个缺点是它不完全支持运行时特定的功能.对于某些用例,PyV8可能是更好的选择.安装之前先安装JS环境,Node.js安装好了,就可以安装接下来的库了. 安装: pip3…

js2py…

安装: pip install js2py 使用: 执行js函数: 执行js函数: import js2py js = js2py.EvalJs({}) js.execute(""" var i = 0; for(;;i++) { break; } // i must be 0. console.log("i should be 0. i=" + i); """)…

python调用js的方法 js2py的简单用法 import js2py js = """ function add(a, b) { return a + b } """ add = js2py.eval_js(js) r = add(1, 2) + 3 print(r) >>>6 进阶用法 js = """ var a = 10; function f(x) { return x*x }; &q…

学习JS反爬 地址:http://openlaw.cn/login.jsp 想在指导案例中抓些内容,需要登陆 账号密码发送会以下面方式发送 所以需要找到_csrf和加密后的password,_csrf服务器生成的显示在登陆页面上,ctrl+F搜索 ctrl+F搜索password,找到一段js代码,可以看出password在加密后重新填入input再提交 需要找到加密函数KeyEncrypt,ctrl+F搜索 这段复制到新的snippets,看代码调用了JSEncrypt,CryptoJs继续c…

过程: 知道如何寻找登录的接口 知道如何确定js的位置 知道如何观察js的执行过程 知道js的执行方法 1. 确定网站的登录的接口登录的form表单中action对应的url地址通过抓包可以发现,在这个url地址和请求体中均有参数,切换到手机版,参数的个数少,分析js2. 确定js的位置通过点击按钮,然后点击Event Listener,部分网站可以找到绑定的事件,对应的,只需要点击即可跳转到js的位置部分网站的按钮可能并没有绑定js事件监听,那么这个时候可以通过搜索请求中的关键字来找到js的位…

# 面向对象 # 百度翻译 -- 网页版(自动获取token,sign) import requests import js2py import json import re class WebFanyi: """百度翻译网页版爬虫""" def __init__(self,query_str): self.session = requests.session() headers = { "User-Agent": "…

一个免费ss网站的数据爬取过程 Apr 14, 2019 引言 爬虫整体概况 主要功能方法 绕过DDOS保护(Cloudflare) post中参数a,b,c的解析 post中参数a,b,c的解析 post参数a,b,c值的确定 post参数c的值的加密 AES加密数据解码 确定AES加密模式(弃用) 免判断加密模式并解密(推荐) 解码数据并测延时 最后 相关资源 本文相关库 第三方开源库 在线测试工具 参考 引言 偶然发现一个免费ss分享网站,本以为简单的url请求即可获取数据.但是没想到在网…

关键字:APIfen.工具使用.sql注入 涉及工具/包:Fiddler.Burpsuite.Js2Py.Closure Compiler.selenium.phantomjs.sqlmap 摘要: 记录分析某音乐类App评论相关API的过程,以及一些工具/包的基本使用(部分工具对最后尝试没有影响,但在其它场景或许有用),最后结合sqlmap进行注入尝试.本文对于sql注入没有深入展开(水平不够…). 想法来源:本想写个程序获取零评论的歌曲,去占沙发…分析发现获取评论的POST请求参数有点复杂……