之前写了一篇selenium + ChromeDriver的一些入门的知识,这篇博客里面找了启信宝这个网站,简单的进行了一个实战练习.本篇博客的结构如下:       首先会给出一些使用selenium + ChromeDriver的入门的一些友情链接         其次讲解一下本人在爬取网站的一些思路和流程       最后给出github地址并总结经验. 1. 友情链接 环境配置以及入门知识参考我的之前一篇博客: http://www.cnblogs.com/caizheng/p/7344…

首先, 添加requests模块: 然后, 添加lxml模块: 启信宝登录抓包: QiXinBao.py: import requestsfrom lxml import etree loginUrl = "https://www.qixin.com/api/user/login"# 启信宝登录接口homePage = "https://www.qixin.com"# 启信宝首页 headers = {"Accept": "applic…

几年前,我们这样写前端代码: <div id="el" style="......" onclick="......">测试</div> 慢慢的,我们发现这样做的很多弊端,单就样式一块,改一个样式会涉及到多处调整,所以慢慢的dom标签中的css全部去了一个独立的css文件 再后来,交互变得异常复杂,onclick也不好使了,所以js也分离开了,经典的html+css+javascript结构分离逐步清晰,三种代码各司其职…

Tidyverse|数据列的分分合合,爱恨情仇 本文首发于“生信补给站”Tidyverse|数据列的分分合合,一分多,多合一 TCGA数据挖掘可做很多分析,前期数据“清洗”费时费力但很需要. 比如基因列为ID的需要转为常见的symbol,基因列为symbol|ID的就需要拆开了! excel分列可以解决,但是表达量数据较大,且excel容易产生“数据变形”. 一, 载入数据,R包 使用TCGA下载的数据,使用以下几行几列, 作为示例 library(tidyverse)data <- read.…

前两篇文章分析该APP的抓包.的逆向: 启xin宝app的token算法破解--抓包分析篇(一) 启xin宝app的token算法破解--逆向篇(二) 本篇就将对token静态分析,其实很简单就可以搞定那种.通过idea的全局搜索,直接搜索"token"直接找到token在哪里,上图. 找到了,进去看看,这是MessageUtil类里面,可以看下MessageUtil的具体方法: 具体代码就不贴了,分析到这里发现使用ndk,也就是c编译之后的so文件,这就有点难办了,先不管这个,继续分…

前两篇文章分析该APP的抓包.的逆向: 启xin宝app的token算法破解--抓包分析篇(一) 启xin宝app的token算法破解--逆向篇(二) 启xin宝app的token算法破解--token分析篇(三) 本篇就将对token的秘钥进行hook,使用上篇提到的frida进行hook,hooknative方法,获取到秘钥和偏移. 对于frida是什么? Frida是一个动态代码插桩框架,这里的介绍主要以应用在Android平台应用程序上.动态二进制插桩(DBI)是将外部代码注入到现有的正…

启xin宝app的token算法破解--抓包分析篇(一)文章已经对该app进行了抓包分析,现在继续对它进行逆向. 对于一个app而言,我们要逆向app,需要知道什么呢? 逆向工具 Java基础,甚至c和汇编基础 加固类型和脱壳工具 安卓开发基础 对安卓系统的认知 对xposed的认知 smali基础 以上这些是必须了解甚至掌握的,爬虫逆向路上越走越远了. 回归正题,该app是怎样一种app呢?? 如何去查看app是否加固(加壳)呢? 我们要借助易开发这款app进行检验(同时带有脱壳功能) 可以看…

为了提升逆向技术,最近几日研究了企cha查的sign和启xin宝的token算法,目前已经成功破解,两个app均是最新版,并将企cha查写成爬虫小demo,放在github上,详情查看 https://juejin.im/post/5d609fd26fb9a06acb3eab29 具体不在多说,今日继续启xin宝的token破解. 启xin宝的token破解可谓是有点小难,秘钥在ndk里面,比较难取,不过用一个比较火的技术就很快搞定了,后边详细说. 对于启xin宝我么就需要先进行抓包了,这里使用…

话说Excel数据表,分久必合.合久必分.Excel数据表的"分"与"合"是日常办公中常见的操作.手动操作并不困难,但数据量大了之后,重复性操作往往会令人崩溃.利用Python的Pandas库,便可以自动实现Excel数据表的"分分合合".下面结合实例来分享本人整理的实用代码片段.(如有更好的方式,欢迎批评指正) 主目录 分:纵向"分" 从数据平台(如问卷平台)中导出的数据往往是清单型的,每一行都是一条记录,数据量大的时候,表…

话说Excel数据表,分久必合.合久必分.Excel数据表的"分"与"合"是日常办公中常见的操作.手动操作并不困难,但数据量大了之后,重复性操作往往会令人崩溃.利用Python的Pandas库,便可以自动实现Excel数据表的"分分合合".下面结合实例来分享本人整理的实用代码片段.(如有更好的方式,欢迎批评指正) 主目录 分:纵向"分" 从数据平台(如问卷平台)中导出的数据往往是清单型的,每一行都是一条记录,数据量大的时候,表…