一.原理 原理很简单就是hook auto.js的com.stardust.autojs.script.StringScriptSource类,当然前题你要逆向的auto.js程序dex没有加固,当然可以先解固后再hook,不过好像加固也能hook,因为一般是这个类com.stardust.autojs.script.StringScriptSource. 这里的构造函数直接输入解密后的代码,有两个参数,一个是文件名,一个是js解密后代码,直接hook他就可以了. 二.编写xopsed模块进行h

什么是 RPC RPC,英文 RangPaCong,中文让爬虫,旨在为爬虫开路,秒杀一切,让爬虫畅通无阻! 开个玩笑,实际上 RPC 为远程过程调用,全称 Remote Procedure Call,是一种技术思想而非一种规范或协议.RPC 的诞生事实上离不开分布式的发展,RPC 主要解决了两个问题: 解决了分布式系统中,服务之间的互相调用问题: RPC 使得在远程调用时,像本地调用一样方便,让调用者感知不到远程调用的逻辑. RPC 的存在让构建分布式系统更加容易,相比于 HTTP 协议,RPC

关注微信公众号:K哥爬虫,QQ交流群:808574309,持续分享爬虫进阶.JS/安卓逆向等技术干货! 简介 在分析一些站点的 JavaScript 代码时,比较简单的代码,函数通常都是一个一个的,例如: function a() {console.log("a")} function b() {console.log("a")} function c() {console.log("a")} 但是稍微复杂一点的站点,通常会遇到类似如下的代码结构

环境: 我使用的fedora19.1-xfce版本,属于redhat系的桌面环境. 1.安装 webkit源码安装webkit失败,这里提供的是yum安装方式. a.查看当前yum库中的webkit资源: [root@localhost pythontest]# yum list webkit* 已加载插件:langpacks 已安装的软件包 webkit-sharp.x86_64 .fc19 @fedora webkit-sharp-devel.x86_64 .fc19 @fedora web

目录 C++逆向 可变参数Hook 0x00 前言: 0x01 C++可变参数: 可变参数简介 可变参数代码实战 0x02 逆向分析C++可变参数原理 0x03 printf Hook实战 Pwn菜鸡学习小分队 C++逆向 可变参数Hook 0x00 前言: 我们在做逆向分析的时候,经常会需要去Hook一个程序的日志输出函数. 而这种日志输出函数一般参数都不确定,这就会引起一个问题.我们如何知道参数个数?如何知道他有哪些参数呢? 0x01 C++可变参数: 可变参数简介 在C++中,可变参数的函

在某些情况下我们需要检测当前用户是否打开了浏览器开发者工具,比如前端爬虫检测,如果检测到用户打开了控制台就认为是潜在的爬虫用户,再通过其它策略对其进行处理.本篇文章主要讲述几种前端JS检测开发者工具是否打开的方法. 一.重写toString() 对于一些浏览器,比如Chrome.FireFox,如果控制台输出的是对象,则保留对象的引用,每次打开开发者工具的时候都会重新调用一下对象的toString()方法将返回结果打印到控制台(console tab)上. 所以只需要创建一个对象,重写它的toS

在初学的爬虫过程中,很多人还不知道有些字段是如何生成的,怎样模拟生成这些字段来拼接头部.为了再次纪念[宏彦获水]成语初次面世,特地用[百度登陆]写下一篇登陆百度的教程,以供大家参考. 前面学习了如何在 get 的时候想服务器发送多变的请求数据,从而达到搜索的效果,而实际上 搜索是简单的登陆 !所以本文将要介绍如何向百度服务器发送 post 数据,从而达到模拟登陆百度的效果. 首先打开 firefox 浏览器,清除网页所有的历史纪录,这是为了防止以前的 Cookie 影响服务器返回的数据. F12

经过一段时间的python学习,能写出一些爬虫了.但是,遇到js动态加载的网页就犯了难.于是乎谷歌.百度,发现个好介绍http://www.jianshu.com/p/4fe8bb1ea984 主要就是分析网页的加载过程,从网页响应中找到JS脚本返回的JSON数据.(上边的网址介绍很详细,下边就直接贴代码,记录下) 1.今日头条的 #coding:utf-8 import requests import json #今日头条热词获取,get方法 url = 'http://www.toutiao

1.selenium模块下载网页提取url,[煎蛋网] https://www.cnblogs.com/fat39/p/9865949.html#tag5 2.该网页加密了url,通过js获取图片.分析网页,解码出真实url,scrapy下载[煎蛋网] https://www.cnblogs.com/fat39/p/9865949.html#tag6 分析过程https://blog.csdn.net/van_brilliant/article/details/78723878 3.该网页通过j

案例 某位淘女郎的某个相册 有能力的童鞋可以先尝试一下爬取每张照片的链接. 我曾经尝试过几种方法,下面一一介绍: 第一种方法,采用requests和BeautifulSoup: import requests from bs4 import BeautifulSoup url = 'https://mm.taobao.com/self/album_photo.htm?spm=719.6642053.0.0.4JUVfm&user_id=687471686&album_id=10000702

看了群里一个人提问道https://www.amazon.com/,商品分类那里无法用xpath拿得到列表.遂对其研究. 通过抓包工具可以得知,原始数据存在于js代码中,我的方式是手动解析js,从里面抠出来json数据获取 这是数据包: window.$Nav && $Nav.when("data").run(function(data) { data({"wishlistContent":{"template":{"n

//cookie hook (function () { 'use strict'; var cookie_cache = document.cookie; Object.defineProperty(document, 'cookie', { get: function () { console.log(cookie_cache); return cookie_cache; }, set: function (val) { debugger var cookie = val.split(";&

笔记: 主要发现有两个工具 存档记录一下 https://github.com/OEDx/cocos-jsc-endecryptor  python的 解密需要秘钥 推荐这个: https://github.com/irelance/jsc-decompile-mozjs-34 php的实际测试

剧透:就是使用了一下Chrome DevTools的Memory功能,通过已知的JS变量的值查找JS内存中变量的引用 一:不分析一下现有的网页翻译方法么? 总所周知,(As is well known to us all,)谷歌的网页翻译很强大,根据我的使用经验谷歌有五个途径进行网页翻译: 使用Chrome的<翻译此页>功能:这是唯一没有被墙的方法直接就能用,但无法显示原文 使用google翻译的网页翻译:这个方法可以显示原文(并且原文直接加到了dom里)并且处理起来方便,但这种方法不好调用且

爬虫05 /js加密/js逆向.常用抓包工具.移动端数据爬取 目录 爬虫05 /js加密/js逆向.常用抓包工具.移动端数据爬取 1. js加密.js逆向:案例1 2. js加密.js逆向:案例2 3. 常用的抓包工具 4. 移动端数据的爬取 总结: 1. js加密.js逆向:案例1 需求: 将这个网页中的代理ip和端口号进行爬取 分析: 爬取的数据是动态加载 并且我们进行了抓包工具的全局搜索,没有查找到结果 意味着:爬取的数据从服务端请求到的是加密的密文数据 页面每10s刷新一次,刷新后发现数

以前一直听说有爬虫这种东西,稍微看了看资料,貌似不是太复杂. 正好了解过node.js,那就基于它来个简单的爬虫. 1.本次爬虫目标: 从拉钩招聘网站中找出“前端开发”这一类岗位的信息,并作相应页面分析,提取出特定的几个部分如岗位名称.岗位薪资.岗位所属公司.岗位发布日期等.并将抓取到的这些信息,展现出来. 初始拉钩网站上界面信息如下: 2.设计方案: 爬虫,实际上就是通过相应的技术,抓取页面上特定的信息. 这里主要抓取上图所示岗位列表部分相关的具体岗位信息. 首先,抓取,就得先有地址url:

大众点评上有很多美食餐馆的信息,正好可以拿来练练手Node.js. 1. API分析 大众点评开放了查询商家信息的API,这里给出了城市与cityid之间的对应关系,链接http://m.api.dianping.com/searchshop.json?&regionid=0&start=0&categoryid=10&sortid=0&cityid=110以GET方式给出了餐馆的信息(JSON格式).首先解释下GET参数的含义: start为步进数,表示分步获取信

第一次学习Node.js爬虫,所以这时一个简单的爬虫,Node.js的好处就是可以并发的执行 这个爬虫主要就是获取慕课网的课程信息,并把获得的信息存储到一个文件中,其中要用到cheerio库,它可以让我们方便的操作HTML,就像是用jQ一样 开始前,记得 npm install cheerio 为了能够并发的进行爬取,用到了Promise对象 //接受一个url爬取整个网页,返回一个Promise对象 function getPageAsync(url){ return new Promise(

写在前面的话, .......写个P,直接上效果图.附上源码地址  github/lonhon ok,正文开始,先列出用到的和require的东西: node.js,这个是必须的 request,然发送网络请求更方便 bluebird,让Promise更优雅.搞笑 cheerio,像jQuery一样解析页面 fs,读写本地文件 之前写的代理ip的爬取结果 由于自己的比较偏好数据方面,之前一直就想用python做一些爬虫的东西,奈何一直纠结2.7还是3.x(逃... 上周在看慕课网上的node教程

由于别的项目组在做舆情的预言项目,我手头正好没有什么项目,突然心血来潮想研究一下爬虫.分析的简单原型.网上查查这方面的资料还真是多,眼睛都看花了.搜了搜对于我这种新手来说,想做一个简单的爬虫程序,所以HttpClient + jsoup是一个不错的选择.前者用来管理请求,后者用来解析页面,主要是后者的select语法很像jquery,对于用js的我来说方便太多了. 昨天和他们聊天的时候,他们选用了几个著名的开源框架使用,聊着聊着就发现原来他们目前还没有办法抓取动态的网页,尤其是几个重要的数字,例

实现一个简易爬虫&启动定时任务 课程介绍看这里:https://www.cnblogs.com/zhangran/p/11963616.html 项目github地址:https://github.com/hellozhangran/happy-egg-server 爬虫 目前 node.js 爬虫工具比较火的有 node-crawler puppeteer.不过我目前没打算用这些,因为至少现在我们的项目还用不到.只要能发送请求.解析dom我们就能自己实现一个爬虫.所以我选择了axios + c