activity对应layout文件加入: <WebView android:id="@+id/main_web" android:layout_width="match_parent" android:layout_height="match_parent"></WebView> activity代码 : protected void onCreate(Bundle savedInstanceState) { super

1 引言 数月前写过某网站(请原谅我的掩耳盗铃)的爬虫,这两天需要重新采集一次,用的是scrapy-redis框架,本以为二次爬取可以轻松完成的,可没想到爬虫启动没几秒,出现了大堆的重试提示,心里顿时就咯噔一下,悠闲时光估计要结束了. 仔细分析后,发现是获取店铺列表的请求出现问题,通过浏览器抓包,发现请求头参数中相比之前多了一个X-Shard和x-uab参数,如下图所示: X-Shard倒是没什么问题,一看就是兴趣点的经纬度,但x-uab看过之后就让人心里苦了,js加密啊,只能去逆向解密了. 2

爬虫05 /js加密/js逆向.常用抓包工具.移动端数据爬取 目录 爬虫05 /js加密/js逆向.常用抓包工具.移动端数据爬取 1. js加密.js逆向:案例1 2. js加密.js逆向:案例2 3. 常用的抓包工具 4. 移动端数据的爬取 总结: 1. js加密.js逆向:案例1 需求: 将这个网页中的代理ip和端口号进行爬取 分析: 爬取的数据是动态加载 并且我们进行了抓包工具的全局搜索,没有查找到结果 意味着:爬取的数据从服务端请求到的是加密的密文数据 页面每10s刷新一次,刷新后发现数

这几天的确有空了,看更新多快,专门研究了一下几个网站登录中密码加密方法,比起滑块验证码来说都相对简单,适合新手js逆向入门,大家可以自己试一下,试不出来了再参考我的js代码.篇幅有限,完整的js代码在这里:从今天开始种树 前戏 今天要碰的是汽车之家,关于这个网站网上大多都再研究其字体反爬,如果想研究字体反爬的话直接搜一下就有很多. 今天主要是研究汽车之家在登录时的password加密方法,并通过python调用js的方式运行出加密结果. 开始 老规矩,打开登录页面,长下面这样,与大多网站一样的布

好久没有写爬虫文章了,今晚上得空看了一下陆金所登录密码加密,这个网站js加密代码不难,适合练手,篇幅有限,完整js代码我放在了这里从今天开始种树,不废话,直接开整. 前戏热身 打开陆金所网站,点击到登陆界面,长这样: 按F12打开工具,再登录随便输入一个号码和密码,点击登录按钮,查看发送的请求: 一共有3个,从请求名称上也看的出来哪个是登录请求(看不出来的话一个一个点击),拉下来,看看提交的FormData: 我输的密码是123,可以看出来这里把password加密了,既然加密了那我们就去js文

友情提示:在博客园更新比较慢,有兴趣的关注知识图谱与大数据公众号吧.这次选择苏宁易购登录密码加密,如能调试出来代表你具备了一定的JS逆向能力,初学者建议跟着内容调试一波,尽量独自将JS代码抠出来,实在抠不出来参考这里从今天开始种树. 传送门 前言 最近都在研究一些网站的登录密码加密JS代码,都比较简单,非常适合有一定爬虫基础准备进阶的童靴,只有这些做好了下一步才能开始着手滑块验证码这个大坑,废话不多说,直接开整. 准备 打开苏宁易购登录网址点这里: 是不是一阵熟悉的赶脚.老规矩,输入错误的账号密

友情提示:优先在公众号更新,在博客园更新较慢,有兴趣的关注一下知识图谱与大数据公众号,本次目标是抠出爱奇艺passwd加密JS代码,如果你看到了这一篇,说明你对JS逆向感兴趣,如果是初学者,那不妨再看看我之前的一些文章,可能对你的学习路有些帮助,跟着一起调试,对JS加密方法理解会更深点.如果调试不出来,可以参考我的代码,本期JS代码放在从今天开始种树 提示 文章首先在公众号更新,CSDN更新较慢,有兴趣的关注一下知识图谱与大数据公众号吧. 准备 本期抠爱奇艺passwd加密JS代码,传送门,登录

前言 本文意在记录,在爬虫过程中,我首次遇到Protobuf时的一系列问题和解决问题的思路. 文章编写遵循当时工作的思路,优点:非常详细,缺点:文字冗长,描述不准确 protobuf用在前后端传输,在一定程度节约了带宽,也为爬虫工程师增加了工作量. 遇见Protobuf 一拿到网站,F12查看是否有相关数据的请求接口 ok! 接口找到了,看下请求参数吧! emmm~~ 为啥请求参数是乱码? 平时见着的都是这个样子滴?可以直接看到参数! 哎,咱们这初出茅庐的菜鸟,乖乖搜搜,看看有没有前辈们写过相关

今天的学习项目:沃支付:https://epay.10010.com/auth/login 清空浏览器缓存后,打开网页,输入手机号,密码222222,按照网站要求填入验证码(sorry,我没有账号密码,反正是抓包看数据,随便填了). 经过多次抓包分析,发现该网站不知道干嘛了,跟小肩膀讲的内容在定位发现略有出入,但幸好,该网站开发人员给留了一条后路. 话不多说,开始分析网站抓包情况: 从返回是数据包来看,依旧是见名之意的login数据包(我以后也一定会养成这样的好习惯,一定不去写什么怪怪的变量名)

首先声明,本人经过无数次摸爬滚打及翻阅各类资料,理论知识极其丰富,但是抠代码怎么都抠不会. 无奈之下,只能承认:这个活,需要熟练度. 本文仅对部分参数进行解析,有需要调用,请自行根据现实情况调整. 第一步,首先要打开网站,假装输入公司名:111111,用户名:111111,密码:222222,点击登录,开始抓包.拿到数据包之后,对内部数据进行简单的梳理. headers里面没有什么特别的特别的,要注意的是content-type显示,参数是json格式:接下来看参数方面,这里面一共11个参数,经

今天准备爬取网页时,遇到『JS逆向AES加密』反爬.比如这样的: 在发送请求获取数据时,需要用到参数params和encSecKey,但是这两个参数经过JS逆向AES加密而来. 既然遇到了这个情况,那么辰哥就教大家如何去解决这类反爬(JS逆向AES加密) 01 网页分析 在开始分析JS逆向AES加密之前,先简单介绍一下要爬取的内容:下载某抑云音乐.其中获取歌曲的真实播放地址m4a的过程涉及到JS逆向AES加密. 点击播放,在浏览器中查看抓取到的数据包,如下图所示: 查看响应数据: 可以看到在ur

首先:看看运行结果效果如何! 1. 实现思路 小编基本实现思路如下: 利用js逆向模拟请求得到电影评分的页面(就是猫眼电影的评分信息并不是我们上述看到的那个页面上,应该它的实现是在一个页面上插入另外一个页面上的一些信息). 我们看一下上述这个网址的请求方式以及请求参数. 显然这个signKey 进行了加密处理.(下面请求第二点讲解怎样模拟这个请求) 2.通过上述模拟请求,我们最终可以得到这个评分数据,只不过看到评分数据是利用了字体加密,所以看到的是一系列 \u 开头的字符编码.如下: 第1点处理

python爬虫简单js逆向案例在学习时需要用到数据,学习了python爬虫知识,但是在用爬虫程序的时候就遇到了问题.具体如下,在查看请求数据时发现返回的数据是加密的信息,现将处理过程记录如下,以便大家学习交流. 内容简介 需求:爬取某企科技网站投资事件栏目https://qimingpian.cn/finosda/project/einvestment的数据. 出现问题:获取数据首先需要发送请求,得到响应数据 .通过网页分析可知,需要获取的数据来自ajax发送POST请求动态获取,所以我选择通

Python爬虫之JS逆向案例 由于在爬取数据时,遇到请求头限制属性为动态生成,现将解决方式整理如下: JS逆向有两种思路: 一种是整理出js文件在Python中直接使用execjs调用js文件(可见我的另一篇文章< python爬虫之企某科技JS逆向>). 一种是根据JS中的逻辑,使用Python重写相应的方法. 本文介绍的是第二种使用Python重写JS的方法 需求:爬取某区块链网站https://www.oklink.com/zh-cn/btc/tx-list?limit=20&

Python爬虫之JS逆向采集某易云音乐网站 在获取音乐的详情信息时,遇到请求参数全为加密的情况,现解解决方案整理如下: JS逆向有两种思路: 一种是整理出js文件在Python中直接使用execjs调用js文件(可见我的另一篇文章< python爬虫之企某科技JS逆向>). 一种是根据JS中的逻辑,使用Python重写相应的方法.(可见另一篇文章<爬虫之JS逆向>) 本文介绍的也是第一种思路,即从目标网站中提取JS文件,然后由Python中使用execjs调用,得到我们想要的数据

前言:现在网站都有很强的反爬机制,都是非常常见的是用js前端加密参数,所以不得不去分析和逆向js混淆后的代码 一. 打开天猫或淘宝,shift+ctrl+F12全局搜索sign参数. 这里发现很多地方有出现了sign,必须一个一个的去看,发现前面的文件的assign,这个是我们所不用的,继续向下翻找,找到我们想要的了. 发现我们要找的js是内联在前端页面中的,点击进去,看看是啥操作先. 二.点击进入,打断点,再调试 这样看js代码不现实,包括我们在F12中,需要分析dom节点时,很多时候只要把对

爬取某省公共资源交易中心 通过抓包数据可知 这个data是我们所需要的数据,但是已经通过加密隐藏起来了 分析 首先这是个json文件,我们可以用请求参数一个一个搜 但是由于我们已经知道了这是个json 所以我们可以直接偷个懒 直接搜索json.parse 然后还看见了state 刚好也是返回的值 3. 根据上述请求参数我们看见了ts是一个时间戳, 然后往周围找找 所以可以判断这是个AES加密 基本这个函数就是AES加密的,我们把代码抠出来就能直接运行了,但是抠出来之后发现 这就是个常规AES加密

随着现在对数据的重视程度越来越高,现在各大网站都加强了反爬技术,比如本文中js加密 url地址:https://www.huanhuanhuishou.com/gujia/22201.html 需要爬取的数据是最高的回收价格:14760 经过分析这个数据是ajax发送请求getEvaluateData?goods_id=22201  goods_id是商品的id   GET请求 请求服务器返回的数据是经过加密后的数据 通过对url的监听找到发送请求的ajax 上面的这个jsonCall,封装了a

替换之前的d形如 d("77696669") 执行代码 const fs = require('fs'); const acorn = require('acorn'); const walk = require("acorn-walk") const escodegen = require('escodegen'); function d(b) { var a, c = ""; for (a = 0; a < b.length; a +=

1.nodejs运行js的时候 navigator如果找不到可以可设置为空对象 var navigator={}; 2.使用nodejs如果window对象找不到的时候 可以使用jsdom模块 3.顶层代码调用的对象的this 浏览器里表示window,nodejs中表示object 4.以下获取属性的两种方式 obj.x //写死代码里 obj["x"] //可以动态调用属性,[]内是字符串 5.xhr相关 var xhr = new XMLHttpRequest(); //创建xh