随着现在对数据的重视程度越来越高,现在各大网站都加强了反爬技术,比如本文中js加密 url地址:https://www.huanhuanhuishou.com/gujia/22201.html 需要爬取的数据是最高的回收价格:14760 经过分析这个数据是ajax发送请求getEvaluateData?goods_id=22201  goods_id是商品的id   GET请求 请求服务器返回的数据是经过加密后的数据 通过对url的监听找到发送请求的ajax 上面的这个jsonCall,封装了a…

替换之前的d形如 d("77696669") 执行代码 const fs = require('fs'); const acorn = require('acorn'); const walk = require("acorn-walk") const escodegen = require('escodegen'); function d(b) { var a, c = ""; for (a = 0; a < b.length; a +=…

1 引言 数月前写过某网站(请原谅我的掩耳盗铃)的爬虫,这两天需要重新采集一次,用的是scrapy-redis框架,本以为二次爬取可以轻松完成的,可没想到爬虫启动没几秒,出现了大堆的重试提示,心里顿时就咯噔一下,悠闲时光估计要结束了. 仔细分析后,发现是获取店铺列表的请求出现问题,通过浏览器抓包,发现请求头参数中相比之前多了一个X-Shard和x-uab参数,如下图所示: X-Shard倒是没什么问题,一看就是兴趣点的经纬度,但x-uab看过之后就让人心里苦了,js加密啊,只能去逆向解密了. 2…

一个PE文件的逆向分析 idf-ctf上有个题,是PE文件的逆向,反正对我来说做出来就是有意思的题,做不出来就没劲.言归正传,下面看一下吧 大家想玩可以去这个地方去拿题http://pan.baidu.com/s/1dDzUL0X 然后,上次说到了IDA的F5插件,是的,很牛.之前不用是因为太菜,不会......然后这次用了下,果然神器,所以最近也很有必要学一学IDA的东西,推荐大家看<IDA Pro权威指南>. 好的吧,先把文件拖peid,没壳.然后拖OD,捣啊捣,脑袋大,下断点啊啥的,反正…

[C++]从零开始的CS:GO逆向分析3--写出一个透视 本篇内容包括: 1. 透视实现的方法介绍 2. 通过进程名获取进程id和进程句柄 3. 通过进程id获取进程中的模块信息(模块大小,模块地址,模块句柄) 4. 读取游戏内存(人物ViewMatrix,敌人坐标,敌人生命值,敌人阵营) 5. 三维坐标转二维坐标(游戏内人物坐标转换成屏幕上的坐标) 6. glfw+imgui 在屏幕上的绘制直线 请先依据前两篇,对偏移.基址有基本了解,并且配置好了glfw+imgui的环境,在上篇创建好的工程…

C++反汇编-继承和多重继承   学无止尽,积土成山,积水成渊-<C++反汇编与逆向分析技术揭秘> 读书笔记 一.单类继承 在父类中声明为私有的成员,子类对象无法直接访问,但是在子类对象的内存结构中,父类私有的成员数据依然存在.C++语法规定的访问限制仅限于编译层面,在编译过程中进行语法检查,因此访问控制不会影响对象的内存结构. 子类未提供构造函数或析构函数,而父类却需要构造函数与析构函数时,编译器会为子类提供默认的构造函数与析构函数.但是子类有构造函数,而父类不存在构造函数,且没有虚函数,则…

一.背景 高德 App 进行 Bundle 化后,由于业务的复杂性,Bundle 的数量非常多.而这带来了一个新的问题——Bundle 之间的依赖关系错综复杂,需要进行管控,使 Bundle 之间的依赖保持在架构设计之下. 并且,为了保证 Bundle 能实现独立运转,在业务持续迭代的过程中,需要逆向的依赖关系来迅速确定迭代的影响范围.同时,对于切面 API(即对容器提供的系统 API,类似浏览器中的 BOM API),也需要确定每个切面 API 的影响范围以及使用趋势,来作为修改或下线某个 A…

爬虫05 /js加密/js逆向.常用抓包工具.移动端数据爬取 目录 爬虫05 /js加密/js逆向.常用抓包工具.移动端数据爬取 1. js加密.js逆向:案例1 2. js加密.js逆向:案例2 3. 常用的抓包工具 4. 移动端数据的爬取 总结: 1. js加密.js逆向:案例1 需求: 将这个网页中的代理ip和端口号进行爬取 分析: 爬取的数据是动态加载 并且我们进行了抓包工具的全局搜索,没有查找到结果 意味着:爬取的数据从服务端请求到的是加密的密文数据 页面每10s刷新一次,刷新后发现数…

这几天的确有空了,看更新多快,专门研究了一下几个网站登录中密码加密方法,比起滑块验证码来说都相对简单,适合新手js逆向入门,大家可以自己试一下,试不出来了再参考我的js代码.篇幅有限,完整的js代码在这里:从今天开始种树 前戏 今天要碰的是汽车之家,关于这个网站网上大多都再研究其字体反爬,如果想研究字体反爬的话直接搜一下就有很多. 今天主要是研究汽车之家在登录时的password加密方法,并通过python调用js的方式运行出加密结果. 开始 老规矩,打开登录页面,长下面这样,与大多网站一样的布…

前言 本文意在记录,在爬虫过程中,我首次遇到Protobuf时的一系列问题和解决问题的思路. 文章编写遵循当时工作的思路,优点:非常详细,缺点:文字冗长,描述不准确 protobuf用在前后端传输,在一定程度节约了带宽,也为爬虫工程师增加了工作量. 遇见Protobuf 一拿到网站,F12查看是否有相关数据的请求接口 ok! 接口找到了,看下请求参数吧! emmm~~ 为啥请求参数是乱码? 平时见着的都是这个样子滴?可以直接看到参数! 哎,咱们这初出茅庐的菜鸟,乖乖搜搜,看看有没有前辈们写过相关…