网页抓取解密( 如何使用Thor进行基本的抓包和分析数据？ )

　　网页抓取解密(

如何使用Thor进行基本的抓包和分析数据？

)

　　【APP】雷神：抓包神器基础教程

　　

　　白苹果2019-10-28

　　Thor 是一款专注于数据包捕获分析和开发测试的工具。使用 Thor 分析抓取的网络连接以找到您需要的数据。

　　你可以用 Thor 的数据包捕获做什么？可以抓取一些不易下载的音频、视频、图片、压缩包等，然后选择适合自己的方式下载保存。或者抓一些ipa安装包，或者下载一些文件的原链接，一些api接口等等。

　　下面将教你如何使用 Thor 进行基本的抓包和数据分析。同时通过一个网易云音乐抓包的例子，带大家去操作。

　　*注：本文为初学者基础教程，更多棘手操作请自行探索。

　　开始前的准备

　　1.雷神下载

　　如果您自己购买，请前往 App Store 下载。如果你想试试看，可以看之前这个账号的推送，使用共享账号下载：

　　2.开始使用

　　打开雷神，界面比较简单。主页只有一个交换机和一个抓包过滤器。下面也只有三个菜单，过滤器、抓包记录等等。

　　

　　首页过滤器，可以选择抓包过滤器设置，启动和停止抓包。所有成功的抓包记录都会保存在抓包记录中。更多的是使用帮助，里面的HTTPS解析设置，可以查看证书安装。

　　您还可以在通知中心添加Thor的Widget，快速开始抓包并显示抓包记录。

　　初始化

　　首次使用 Thor 时，需要进行一些设置。

　　1.安装并信任证书

　　由于 Thor 的默认过滤器是全局数据包捕获，包括 HTTPS 解析，因此首次使用需要安装和信任证书。

　　Thor为HTTPS实现数据解密，采用MITM（man-in-the-middle attack）方式，与Surge或Little Rocket拦截广告的原理相同，因此需要安装并信任生成的Thor SSL CA证书由托尔。实现HTTPS解析。

　　如下图，第一次使用时，点击开始按钮，会弹出“HTTPS解析设置”。我们选择现在打开它，并按照说明将证书安装到系统中。

　　

　　

　　然后将打开一个网页，允许添加配置文件。在iOS12及以上系统中，下载配置文件后需要手动输入设置，会在首页头像下方显示。

　　

　　

　　点击右上角的安装描述文件，输入锁屏密码，完成安装。

　　iOS 10.2+系统需要进入【设置-通用-关于本机-证书信任设置】选择刚刚生成的证书并信任。

　　

　　

　　2.允许创建VPN配置

　　首次使用 Thor 时，系统会询问您是否允许创建 VPN 配置，单击允许。

　　这是一个必要的步骤。因为 Thor 需要占用 VPN 隧道来接管你所有的网络连接，从而捕获网络数据。如下所示。Thor创建的VPN配置可以在设置-VPN中看到。

　　

　　开始使用

　　1、抓包

　　抓包前，先清理后台，退出不需要的应用程序或网页，只保存要抓包的应用程序。

　　点击Thor过滤开关（闪电按钮），Thor反应迅速，立即进入抓包状态。这时状态栏中会出现一个VPN标志。再次点击开关停止抓包。

　　

　　还可以通知雷神Widget中心快速打开开关抓包，非常方便。

　　

　　然后，使用您要采集数据的软件或网页进行网络连接操作，如打开视频、听音乐、安装软件等。Thor 会自动抓取所有网络连接。

　　在这个过程中可以随时进入Thor的抓包记录，查看是否已经抓到了合适的数据，也可以关闭Thor暂停工作，慢慢查看抓包数据，以免增加工作量因数据过多而选择的。

　　

　　2.抓包数据分析

　　抓包后，我们进入抓包记录查看，抓包成功的所有数据都在这里。只有对捕获的数据包数据进行分析和选择，才能找到我们想要的。

　　在抓包记录界面，可以对抓包历史进行分类或删除。点击查看所有抓包记录。

　　由于我们的默认过滤器是全局数据包捕获，因此数据包捕获记录将收录所有捕获的数据。

　　

　　你可以在里面看到很多内容，上面的例子说明了：

　　链接：捕获的链接地址显示最直观。

　　POST 或 GET：这是一种 HTTP 响应方法。HTTP响应方式有很多种，如POST、GET、HEAD、PUT、DELETE等，如果我们需要抓取和下载资源，需要从GET中找到。

　　：此栏为User-Agent，用户代理标识符，用于显示用户连接网络的方式

　　[200]：响应状态码，在Thor中很容易识别。

　　11:37:04.825：链接的具体时间

　　↓1.13KB ↑636kb : 用于接收和发送的数据

　　音乐抓取示例

　　说了这么多，估计还有人不明白，那么我们来看一个例子：

　　网易云音乐音频采集

　　打开过滤器后，打开网易云音乐，播放一段没有缓存的音乐（如果已经缓存，则无法采集音频数据），等待歌曲被缓存。

　　OK，我们看到还有一条抓包记录，打开它，100多条记录中我要的是哪一条？

　　

　　

　　单击关键字以过滤记录。我想查找音频文件，所以勾选所有音频文件类型并单击搜索。当然，您也可以自定义过滤规则。现在我们看到只有两条记录符合条件，我们可以根据文件大小确定哪一条是我们需要的。

　　

　　

　　

　　

　　在响应中，我们可以直接看到消息体，也就是文件本身。点击文件直接打开，选择右上角分享，导出原文件保存到其他应用，或直接发送给好友。

　　

　　

　　捕获的图片和音频也可以以相同的方式保存。值得注意的是，并非所有拍摄的视频都可以通过这种方式保存。

　　结尾

　　本文介绍了Thor的基本用法，Thor的强大远不止这些。

　　除了抓图、视频、音频，还可以抓 App Store 安装包，可以用 Shu 或者 JSBox 安装各种 ipa 文件。

　　还可以抓取视频的直接链接，达到释放会员观看会员视频和去除广告的效果。

　　它还可以通过特殊的过滤规则进行广告宣传。

　　甚至可以通过断点过滤器达到破解内购和会员的效果。

　　（请勿用于非法用途）

　　如有需要，稍后会更新Thor的进阶教程，也会分享有用的滤镜。