用curl技术开发了一个微信文章聚合类产品,把抓取到的数据转换成json格式,并在android端调用json数据接口加以显示: 基于weiphp做了一个掌上头条插件,也是用的网页采集技术:和一个创业团队一起在做一个高考志愿填报系统,所有的数据也是从别的地方抓取. 总而言之,网页抓取与网页采集技术是一项非常实用的技能,他能让我们高效快速的获取我们开发产品所需要的一些基本数据. 网页抓取与网页采集过程中难免需要用到抓包技术,所谓抓包,就是我们在访问一个目标网站的时候,需要分析我们提交给浏览器的一些…

手机App抓包爬虫 1. items.py class DouyuspiderItem(scrapy.Item): name = scrapy.Field()# 存储照片的名字 imagesUrls = scrapy.Field()# 照片的url路径 imagesPath = scrapy.Field()# 照片保存在本地的路径 2. spiders/douyu.py import scrapy import json from douyuSpider.items import Douyusp…

fiddler抓包+安卓模拟器完成手机app抓包的配置:fiddler抓包+雷电模拟器 完成手机app抓包的配置 其实在安卓真机上弄比在虚拟机上弄更麻烦一点,它们的步骤都差不多一样,就是在安卓真机上弄完这个操作后还要下载xposed和JustTrustMe模块,所以前面的操作都可以根据上面这个链接弄 一.如果在安卓真机上,获取fiddler证书就可以通过,代理IP地址+fiddler监听端口号进行访问 打开cmd,输入ipconfig查看本机ip地址 比如你主机ip地址为192.168.1.24…

当下很多网站都有做自己的APP端产品,一个优秀的爬虫工程师,必须能够绕过难爬取点而取捷径,这是皆大欢喜的.但是在网上收罗和查阅了无数文档和资料,本人亲测无数次,均不能正常获取HTTPS数据,究其原因是手机端证书安装不正确所致,故编写文章以帮助后来的小伙伴. 当下抓包工具有Fiddler,Charles,wireshark等,手机APP最常用的是Fiddler和Charles,而wireshark适合作为测试用,下面我着重介绍Charles抓包工具的使用. Charles是抓包工具中的神器,开发者…

移动客户端项目有时需要针对手机app进行抓包,这时一般有两种办法:直接下个手机抓包工具的app,在手机上抓:pc机上装上抓包工具,pc和手机连接同一个无线,在pc机上抓.第一种比较简单,但抓包工具自然也不如后一种强大.这里只讲pc端抓包. pc端抓包目前感觉还是Fiddler方便好用.直接去度娘上搜Fiddler下载安装包,点击运行,很快就安装完.接下来比较关键,配置Fiddler: 1.配置Fiddler监听https:界面菜单栏上点击Tools -> Opptions -> HTTPS -…

简介 爬虫是cs架构中的c端 原理是模拟浏览器向服务器发送请求 如果要爬取手机APP的数据,APP也是服务端与浏览器性质相同 我们只要获取到手机APP给服务器发送数据 并加以分析就能模拟它的请求 从而获取到数据 实现思路: 在app和服务器之间设置一个代理服务器 1.app的请求先发送给代理服务器 2.代理服务器把请求转发给真实服务器 3.真实服务器返回数据给代理服务器 4.代理服务器将数据返回给app客户端 需要的工具软件 1.Charles 代理服务器 2.postman/paw 模拟请求的…

这里相比其他抓包软件来说要简单的多了,具体步骤如下: 1 使手机和电脑在一个局域网内,不一定非要是一个ip段,只要是同一个漏油器下就可以了,比如电脑连接的有线网ip为192.168.16.12,然后手机链接的wifi ip为192.168.1.103,但是这个有线网和无线网的最终都是来自于一个外部ip,这样的话也是可以的. 2 下面说说具体配置,这里电脑端是不用做任何配置的,但是需要把防火墙关掉(这点很重要)! 然后charles设置需要设置下允许接收的ip地址的范围. 设置首先要进入这个位置…

1.下载最新版Fiddler,强烈建议在官网下载:https://www.telerik.com/download/fiddler 不下载最新版的话,配置起来会遇到很多问题,弄太麻烦了.因为我下载的是最新版,操作界面如下:  如果你用的不是最新版,想要配置的话可以看一下这篇博客,很详细:https://www.cnblogs.com/chenyablog/p/12773990.html 2.下载后打开exe文件,傻瓜式安装就可以了,安装之后要对fiddler进行一些配置 3.安装雷电模拟器htt…

默认手机已经usb调试配置完成 网络必须在同一网络中,每次断开wifi连接,都必须重新重做一次 使用数据线连接电脑 cmd 打开一个命令行 输入 # abd如果没有配置环境变量,请配置或者进入adb文件目录下运行 # 如果是airtest 则自带abd 我是放在桌面 C:\Users\Administrator\Desktop\AirtestIDE_2019-05-09_py3_win64\airtest\core\android\static\adb\windows # 端口号可以随意书写,只…

方案一:(手机电脑在同一wifi下) 打开burp设置代理 这里的ip为电脑的ip 手机手动设置代理为电脑的ip+8080 导入证书 电脑上下载下证书(http://burp) 传到手机上…