PyExecJS 安装 pip install PyExecJS PyExecJS 的基本使用: >>> import execjs >>> execjs.eval("'red yellow blue'.split(' ')") ['red', 'yellow', 'blue'] >>> ctx = execjs.compile(""" ... function add(x, y) { ... retu…

1,找到断点事件 2,浏览call stack 下面的代码,找到需要的值 3,F11进入方法内部 对于网站自己定义的方法,可以用py复制下来进行执行js N = function (a, b, c) { var d = decode(a) , e = d.slice(8,16) , f = m(j(b, c), e) , g = f.key , h = f.iv; return d = d.slice(16, d.length), a = o(d, g, h, c) js文件模拟方法 wid电脑…

# 面向对象 # 百度翻译 -- 网页版(自动获取token,sign) import requests import js2py import json import re class WebFanyi: """百度翻译网页版爬虫""" def __init__(self,query_str): self.session = requests.session() headers = { "User-Agent": "…

喜马拉雅 网页分析 - 打开我们要爬取的音乐专辑https://www.ximalaya.com/ertong/424529/ - F12打开开发者工具 - 点击XHR 随便点击一首歌曲会看到存储所有歌曲的地址[json格式] - 正常情况下我们直接用requests请求上面的地址就可以直接获取歌曲的所有信息- 我们拿着上面获取的地址向浏览器发起请求,发现没有返回任何信息 - 我们查看请求头中的信息发现有一个xm-sign参数,值为加密后的字符串,就是这个参数使我们获取不到数据 - 31a0db…

控制台抓包 打开方式及常用选项 1.打开浏览器,F12打开控制台,找到Network选项卡 2.控制台常用选项 1.Network: 抓取网络数据包 1.ALL: 抓取所有的网络数据包 2.XHR:抓取异步加载的网络数据包 3.JS : 抓取所有的JS文件 2.Sources: 格式化输出并打断点调试JavaScript代码,助于分析爬虫中一些参数 3.Console: 交互模式,可对JavaScript中的代码进行测试 3.抓取具体网络数据包后 1.单击左侧网络数据包地址,进入数据包详情,查看…

上次爬取网易云音乐,折腾js调试了好久,难受....今天继续练练手,研究下知乎登陆,让痛苦更猛烈些. 1.简单分析 很容易就发现登陆的url=“https://www.zhihu.com/api/v3/oauth/sign_in”,post方法提交,需要的请求头和表单数据如下两图,请求头中有一个特殊的x-xsrftoken,表单数据为加密后的一长串字符窜,因此需要构造这两个值即可. 2. 获取 x-xsrftoken值 首先是这个特殊的x-xsrftoken,发现通过访问url="https:/…

需求: 中国空气质量在线监测分析平台是一个收录全国各大城市天气数据的网站,包括温度.湿度.PM 2.5.AQI 等数据,链接为:https://www.aqistudy.cn/html/city_detail.html,网站显示为: 一连串的分析 该网站所有的空气质量数据都是基于图表进行显示的,并且都是触发鼠标滑动或者点动后才会显示某点的数据,所以如果基于selenium进行数据爬取很吃力,因此考虑采用requests模块进行数据爬取. 首先要找到空气质量数据所在的数据包: 使用抓包工具抓取,经…

前端加密解密 目录 前端加密解密 前言 前端加密定位方法 加密绕过实例 其他情况 前言 日常我们在工作时做安全测试或者日常的漏洞挖掘中,往往会遇到请求加密,参数加密的情况,而且绝大部分都是前端加密的情况,那么我们就可以手动调试跟踪去解决这个加密问题,对我们自己要发送的数据进行编码来帮助我们进行测试 前端加密定位方法 一般定位都会采用关键函数跟踪的方式,流程如下: 选择需要定位的标签,一般都是提交.登录.保存等按钮,通过这些按钮再去查找其中对应的事件函数,然后到调试器栏ctrl+shift+f全局…

你可以使用 NPM 命令行工具来管理你在 NPM 仓库的私有模块代码,这使得在项目中使用公共模块变的更加方便. 开始前的工作 你需要一个 2.7.0 以上版本的 npm ,并且需要有一个可以登陆 npm 仓库的账号. npm install -g npm npm login 软件包设置 所有的私有模块都是 scoped package 的. scope 是 npm 的新特性.如果一个模块的名字以 "@" 开始,那么他就是一个scoped package.scope 就是"@&…

一.一个简单的node程序 1.新建一个txt文件 2.修改后缀 修改之后会弹出这个,点击"是" 3.运行test.js 源文件 使用node.js运行之后的. 如果该路径下没有该文件,会报错 4.运行test2.js 二.模块简单使用 为了编写可维护的代码,我们把很多函数分组,分别放到不同的文件里,这样,每个文件包含的代码就相对较少,很多编程语言都采用这种组织代码的方式.在Node环境中,一个.js文件就称之为一个模块(module). 模块化的开发的好处:提高代码的可维护性,避免修…