目录介绍

  • 01.下载安装
  • 02.抓包代理设置
  • 03.抓包Https操作
  • 04.抓包原理介绍
  • 05.抓包数据介绍
  • 06.常见问题总结
  • 07.Android拦截抓包

01.下载安装

  • 下载地址(下载对应的平台软件即可)

  • 下载破解文件
    • https://assets.examplecode.cn/file/charles.jar
    • 打开Finder,在应用程序中选择Charles并右键选择显示包内容
    • 显示包内容后在Content/Java目录下将破解文件复制过来替换掉原文件即可
    • 如果打开Charles时提示:程序已损坏,打不开。您应该将它移到废纸篓。此时需要在终端中执行以下命令即可:sudo spctl --master-disable

02.抓包代理设置

  • charles代理设置

    • 可以设置抓包数据类型,包括http与socket数据。可以根据需要在proxies栏下勾选。这里简单操作进行设置,Proxy ---> Proxy Settings默认端口是8888,根据实际情况可修改。

  • Android手机代理设置
    • 首先获取电脑ip地址

      • 第一种方式:查看本机IP地址:Help ---> Local IP Addresses

      • 第二种方式:命令行方式,输入ifconfig即可
    • 然后打开手机设置代理
      • 注意:手机需要和电脑使用同一个Wi-Fi网络,这是前提!!!
      • 操作步骤:打开WiFi列表 ---> 长按连接的WiFi修改网络设置代理 --- > 设置代理信息
  • 最后抓包如下
    • 抓包数据如下所示

03.抓包Https操作

  • 需要做哪些操作

    • 1.电脑上需要安装证书
    • 2.手机上需要安装证书
    • 3.Android项目代码设置兼容
  • 1.电脑上需要安装证书
    • 第一步安装证书:help ---> SSl Proxying ---> install charles root certificate ---> 安装证书
    • 第二步设置SSL属性:Proxy ---> SSL Proxy Settings ---> 然后add操作(设置port为443)。如下所示
    • 然后抓包试一下,会发现Android7.0手机之前可以抓包,但是Android7.0之后是无法抓包的
      • 报错信息:客户端SSL握手失败:处理证书时出现未知问题(certificate_unknown)
    • 如何解决在Android7.0之后也可以抓包https信息,接着往下看。
  • 2.手机上需要安装证书
  • 3.Android项目代码设置兼容
    • 添加安全配置文件。如下所示:
    • java.security.cert.CertPathValidatorException: Trust anchor for certification path not found 这个异常,解决方案如下所示:
    <?xml version="1.0" encoding="utf-8"?>
    <network-security-config>
    <base-config cleartextTrafficPermitted="true">
    <trust-anchors>
    <certificates
    overridePins="true"
    src="system" />
    <certificates
    overridePins="true"
    src="user" />
    </trust-anchors>
    </base-config>
    </network-security-config> //清单文件配置
    <application
    android:networkSecurityConfig="@xml/network_security_config_debug">
    • Android 7.0及以上为何不能轻易抓取到Https请求的明文数据?

      • 在Android 7.0(API 24 ) ,有一个名为“Network Security Configuration”的新安全功能。这个新功能的目标是允许开发人员在不修改应用程序代码的情况下自定义他们的网络安全设置。如果应用程序运行的系统版本高于或等于24,并且targetSdkVersion>=24,则只有系统(system)证书才会被信任。所以用户(user)导入的Charles根证书是不被信任的。
  • 抓https最后结果如下所示

04.抓包原理介绍

  • 1.抓包的原理:

    • 代理。客户端请求->经过代理->到达服务端 服务端返回->经过代理->到达客户端
  • 2.任何Https的 app 都能抓的到吗?
    • 7.0以下是可以的,只要手机里安装对应CA证书,比如用charles抓包,手机要安装charles提供的证书就行。
    • Android 7.0 之后,Google 推出更加严格的安全机制,应用默认不信任用户证书(手机里自己安装证书),自己的app可以通过配置解决,但是抓其它app的https请求就行不通。
  • 3.如何避免抓包
    • 1.基于抓包原理的基础上,直接使用okhtttp禁止代理,就可以了 builder.proxy(Proxy.NO_PROXY);经过测试,可以避免抓包
    • 2.直接使用加密协议,全是字段乱码, 把域名换装IP。这样基本别人很难抓到,像混淆一样
  • 4.charles抓包原理图
  • 5.大概步骤流程
    • 第一步,客户端向服务器发起HTTPS请求,charles截获客户端发送给服务器的HTTPS请求,charles伪装成客户端向服务器发送请求进行握手 。
    • 第二步,服务器发回相应,charles获取到服务器的CA证书,用根证书(这里的根证书是CA认证中心给自己颁发的证书)公钥进行解密,验证服务器数据签名,获取到服务器CA证书公钥。然后charles伪造自己的CA证书(这里的CA证书,也是根证书,只不过是charles伪造的根证书),冒充服务器证书传递给客户端浏览器。
    • 第三步,与普通过程中客户端的操作相同,客户端根据返回的数据进行证书校验、生成密码Pre_master、用charles伪造的证书公钥加密,并生成HTTPS通信用的对称密钥enc_key。
    • 第四步,客户端将重要信息传递给服务器,又被charles截获。charles将截获的密文用自己伪造证书的私钥解开,获得并计算得到HTTPS通信用的对称密钥enc_key。charles将对称密钥用服务器证书公钥加密传递给服务器。
    • 第五步,与普通过程中服务器端的操作相同,服务器用私钥解开后建立信任,然后再发送加密的握手消息给客户端。
    • 第六步,charles截获服务器发送的密文,用对称密钥解开,再用自己伪造证书的私钥加密传给客户端。
    • 第七步,客户端拿到加密信息后,用公钥解开,验证HASH。握手过程正式完成,客户端与服务器端就这样建立了”信任“。
    • 在之后的正常加密通信过程中,charles如何在服务器与客户端之间充当第三者呢?
    • 服务器—>客户端:charles接收到服务器发送的密文,用对称密钥解开,获得服务器发送的明文。再次加密, 发送给客户端。
    • 客户端—>服务端:客户端用对称密钥加密,被charles截获后,解密获得明文。再次加密,发送给服务器端。由于charles一直拥有通信用对称密钥enc_key,所以在整个HTTPS通信过程中信息对其透明。
  • 6.总结一下
    • HTTPS抓包的原理还是挺简单的,简单来说,就是Charles作为“中间人代理”,拿到了服务器证书公钥和HTTPS连接的对称密钥,前提是客户端选择信任并安装Charles的CA证书,否则客户端就会“报警”并中止连接。这样看来,HTTPS还是很安全的。

05.抓包数据介绍

  • HTTP请求包的结构

    • 请求报文

      • 请求报文结构格式:

        请求行: <method> <request-URL> <version>
        头部: <headers>
        主体: <entity-body>
      • 请求报文结构示意图:
      • 例子:
        • 请求了就会收到响应包(如果对面存在HTTP服务器)
        POST /meme.php/home/user/login HTTP/1.1
        Host: 114.215.86.90
        Cache-Control: no-cache
        Postman-Token: bd243d6b-da03-902f-0a2c-8e9377f6f6ed
        Content-Type: application/x-www-form-urlencoded tel=13637829200&password=123456
    • 常见的是那些
      • User-Agent:产生请求的浏览器类型。
      • Accept:客户端可识别的响应内容类型列表;
      • Accept-Language:客户端可接受的自然语言;
      • Accept-Encoding:客户端可接受的编码压缩格式;
      • Host:请求的主机名,允许多个域名同处一个IP 地址,即虚拟主机;
      • Connection:连接方式(close 或 keep-alive);
      • Cookie:存储于客户端扩展字段,向同一域名的服务端发送属于该域的cookie;
  • HTTP响应包结构
    • 响应报文

      • 响应报文结构格式:

        状态行:  <version> <status> <reason-phrase>
        响应头部: <headers>
        响应主体: <entity-body>
      • 响应报文结构示意图:
      • 例子:
        HTTP/1.1 200 OK
        Date: Sat, 02 Jan 2016 13:20:55 GMT
        Server: Apache/2.4.6 (CentOS) PHP/5.6.14
        X-Powered-By: PHP/5.6.14
        Content-Length: 78
        Keep-Alive: timeout=5, max=100 Connection: Keep-Alive
        Content-Type: application/json; charset=utf-8 {"status":202,"info":"\u6b64\u7528\u6237\u4e0d\u5b58\u5728\uff01","data":null}
    • 常见的响应头部参数
      • Allow 服务器支持哪些请求方法(如GET、POST等)。
      • Content-Encoding 文档的编码(Encode)方法。
      • Content-Length 表示内容长度。只有当浏览器使用持久HTTP连接时才需要这个数据。
      • Content-Type 表示后面的文档属于什么MIME类型。
      • Server 服务器名字。
      • Set-Cookie 设置和页面关联的Cookie。
      • ETag:被请求变量的实体值。ETag是一个可以与Web资源关联的记号(MD5值)。
      • Cache-Control:这个字段用于指定所有缓存机制在整个请求/响应链中必须服从的指令。
  • 响应报文状态码
    • 包含了状态码以及原因短语,用来告知客户端请求的结果。
    • 关于状态码,可以看这篇文章,http状态码
      状态码 类别 原因短语
      1XX Informational(信息性状态码) 接收的请求正在处理
      2XX Success(成功状态码) 请求正常处理完毕
      3XX Redirection(重定向状态码) 需要进行附加操作以完成请求
      4XX Client Error(客户端错误状态码) 服务器无法处理请求
      5XX Server Error(服务器错误状态码) 服务器处理请求出错

06.常见问题总结

  • 1.配置好后无法打开APP

    • 在我们抓取时碰到个别APP在配置代理后无法打开,这个主要是因为该APP做了防止抓取处理,比如校验https的证书是否合法等,这种解决方法可以通过反编译APP,查看源码解决,难度较大。
  • 2.抓取到的内容为乱码
    • 有的APP为了防止抓取,在返回的内容上做了层加密,所以从Charles上看到的内容是乱码。这种情况下也只能反编译APP,研究其加密解密算法进行解密。

07.Android拦截抓包

   

  • 网络拦截分析,主要是分析网络流量损耗,以及request,respond过程时间。打造网络分析工具……
  • 项目代码地址:https://github.com/yangchong211/YCAndroidTool
  • 如果你觉得这个拦截网络助手方便了测试,以及开发中查看网络数据,可以star一下……

网络拦截库:https://github.com/yangchong211/YCAndroidTool

Android端Charles抓包的更多相关文章

  1. android逆向---charles抓包

    手机与电脑处于同一网络环境,且正确设置代理后,charles显示CONNECT失败,提示信息SSL handshake with client failed: An unknown issue occ ...

  2. Android使用charles抓包

    1.下载并安状软件,官网在此: 2.前题条件,电脑和手机必须在同一网段 3.在Charles界面选择菜单 proxy->proxy settings 勾选"Enable transpa ...

  3. 如何使用charles对Android Https进行抓包

      Charles.png charles是一款在Mac下常用的截取网络封包工具,对Android Http进行抓包,只要对手机设置代理即可,但对Android Https进行抓包还是破费一些功夫,网 ...

  4. charles抓包工具分享

    今天,给大组内QA做了一次分享,主要面向移动端测试,介绍了我平时在测试工作中用到的功能,大家都积极响应,现场搭环境,现场操作,现场提问解答,最后大家都成功的利用起来了,感觉很有成就感.下面介绍我今天分 ...

  5. charles抓包https设置

    写在前面 https抓包的实现 (一)首先,电脑得装个证书 (二)然后,移动设备上安装证书 (三)最后,Charles添加SSL Proxying 写在前面 开发时,面对各种接口数据,绝大多数时间都会 ...

  6. charles抓包误点deny处理办法及日常抓包

    误点deny方法在最底下~~ (博文为转载) 我们在开发网站项目的时候,我们可以通过浏览器的debug模式来看request以及response的数据,那么如果我们开发移动端项目没有网页呢?如何抓取数 ...

  7. Charles抓包——弱网测试(客户端)

    基础知识 网络延迟:网络延时指一个数据包从用户的计算机发送到网站服务器,然后再立即从网站服务器返回用户计算机的来回时间.通常使用网络管理工具PING(Packet Internet Grope)来测量 ...

  8. 《爆肝整理》保姆级系列教程-玩转Charles抓包神器教程(4)-Charles如何设置捕获会话

    1.简介 前边几篇宏哥介绍了Charles界面内容以及作用.今天宏哥就讲解和分享如何设置Charles后,我们就可以愉快地捕获会话,进行抓包了.因为上一篇许多小伙伴看到宏哥的Charles可以分开看到 ...

  9. 《爆肝整理》保姆级系列教程-玩转Charles抓包神器教程(6)-Charles安卓手机抓包大揭秘

    1.简介 Charles和Fiddler一样不但能截获各种浏览器发出的 HTTP 请求,也可以截获各种智能手机发出的HTTP/ HTTPS 请求. Charles也能截获 Android 和 Wind ...

  10. 如何使用Charles抓包-- 入门篇

    下载地址 注意:首先需要下载java的运行环境支持(一般用burp的人肯定也都有装java环境).装好java环境后,可以直接去百度搜索并下载charles的破解版,下载到破解版之后,里面一般会有注册 ...

随机推荐

  1. NC50243 小木棍

    题目链接 题目 题目描述 乔治有一些同样长的小木棍,他把这些木棍随意砍成几段,直到每段的长都不超过50.现在,他想把小木棍拼接成原来的样子,但是却忘记了自己开始时有多少根木棍和它们的长度.给出每段小木 ...

  2. NC20875 舔狗舔到最后一无所有

    题目链接 题目 题目描述 作为队伍的核心,forever97很受另外两个队友的尊敬. Trote_w每天都要请forever97吃外卖,但很不幸的是宇宙中心forever97所在的学校周围只有3家fo ...

  3. Ubuntu20.04安装记录

    在Ubuntu下将iso文件刻录到U盘, 可以使用系统自带的Startup Disk Creator. 分区方式 使用整个硬盘, 一个512G SSD, 使用默认的分区方式, 会创建一个512M的EF ...

  4. 开源大语言模型作为 LangChain 智能体

    概要 开源大型语言模型 (LLMs) 现已达到一种性能水平,使它们适合作为推动智能体工作流的推理引擎: Mixtral 甚至在我们的基准测试中 超过了 GPT-3.5,并且通过微调,其性能可以轻易的得 ...

  5. SQLite 入门教程

    不是 MySQL 用不起,而是 SQLite 更有性价比,绝大多数的 Web 应用 SQLite 都可以满足. SQLite 是一个用 C 语言编写的开源.轻量级.快速.独立且高可靠性的 SQL 数据 ...

  6. C++ { } 的使用场景

    {} 可以用于初始化 C++11 中的变量,就像它们用于初始化 C 中的数组和结构一样. {} 主要是为了提供语法的一致性(使用 {} 初始化将在所有上下文中都有效,而使用赋值运算符或()初始化将在特 ...

  7. MIG是如何向DDR中写入数据的

    1.1    先来看看信号线的描述 我们以X16的器件为例,下面的截图来自 镁光的官方手册 https://media-www.micron.com/-/media/client/global/doc ...

  8. 学会了MySql高级查询让你在工作中游刃有余

    一.单元概述 通过本章的学习能够理解MySQL数据库中分组查询的含义,掌握常用分组函数的使用,掌握GROUP BY子句的使用规则,掌握分组后数据结果的条件过滤,掌握SELECT语句执行过程,理解子查询 ...

  9. 【Azure 云服务】Azure Cloud Service中的错误事件 Error Event(Defrag/Perflib) 解答

    问题描述 在Azure Cloud Service的实例中,收集到各种 Error Event 内容,本文针对所收集的三种Event进行解析. 1: This operation is not sup ...

  10. 【Azure Cloud Services】云服务频繁发生服务器崩溃的排查方案

    问题描述 云服务(Cloud Services)在使用期间,频繁发生崩溃事件,在崩溃期间,查看CPU负载为100%,而且同时伴随以下情况: 部署在云服务上的应用无法访问 远程连接云服务实例(RDP)访 ...