本文背景

公司新项目要求抓取目前市面上一些热门App的数据，经过研究发现很多App的网络请求都使用https进行数据传输，这样问题就来了，http使用明文传输所有请求都能拦截到，而https请求无法拦截。
所以这里我们要使用Charles来抓取https，但是笔者看了网上很多使用iOS设备进行抓取https的文章，经测试iOS8/10/11均无法进行正常抓取,即使信任证书也不行。
经过笔者的不断尝试，终于在Android5.0上成功抓取了https。研究后发现，在Android7.0以下可以正常使用Charles抓取。Android7.0以上应该是默认屏蔽了此种方法。

Charles安装

• 这里给出官网下载的链接
• 如果需要破解文件点击这里
• 安装破解过程可以查看这篇文章

Charles配置

配置电脑端的根证书

1. 打开Charles,我这里使用的是v4.2.5版本:

   

   image

2. 安装根证书

   

   image

3. Mac需要设置信任证书

   1. 安装后会弹出钥匙串访问界面，如图：

      

      image

   2. 双击证书，弹出证书详细界面，点击『信任』选项，然后将所有设置为始终信任，如图:

      

      image

在手机端配置根证书

1. 在电脑端选择安装移动端的证书：

   

   image

2. 选择后会显示IP与端口号，用于手机设置http代理：

   

   image

3. 手机的网络上设置成电脑的http代理：
   此时必须保证手机和电脑在同一网络，并且手机可以访问电脑的ip与端口

   

   image

    

4. 设置完成后访问网络时，服务端会弹出提示，点击Allow(同意连接)：

   

   image

5. 手机浏览器（笔者使用Chrome）访问chls.pro/ssl，下载证书并安装(证书名任意)：

   

   image

配置电脑端的抓取规则

1. 进入Charles的SSL代理设置:

   

   image

2.勾上启动SSL代理，并添加一个抓取规则，比如这里加上一个抓取所有https(443端口)的请求：

image

3.此时手机上打开https请求的应用，应该就可以正常看到https请求的数据了：如图：

image

常见问题

1. 配置好后无法打开APP

在我们抓取时碰到个别APP在配置代理后无法打开，这个主要是因为该APP做了防止抓取处理，比如校验https的证书是否合法等，这种解决方法可以通过反编译APP，查看源码解决，难度较大。

2. 抓取到的内容为乱码

有的APP为了防止抓取，在返回的内容上做了层加密，所以从Charles上看到的内容是乱码。这种情况下也只能反编译APP,研究其加密解密算法进行解密。