抓取网页数据工具(如何抓取抖音快手这些APP的数据接口？(详解))

　　抓取网页数据工具(如何抓取抖音快手这些APP的数据接口？(详解))

　　概括

　　其实通过上面配置抓包工具，可以直接抓到抖音快手等app的数据接口。

　　介绍

　　上一篇文章《如何抢短信轰炸机的短信界面》？（详解）》提到了著名的抓包工具“Fiddler”，本文文章给大家详细讲解“Fiddler”的使用。“孤狼”使用的“提琴手”可能与您常见的“提琴手”不同。这是 Fiddler Everywhere 版本。如下所示：

　　提琴手无处不在 下载

　　《孤狼》更喜欢使用 Fiddler Everywhere 版本，所以让我们用 Fiddler Everywhere 来演示。首先去官网下载 Fiddler Everywhere 点击这里，如果你更喜欢 Fiddler Classic 版本那么点击这里。

　　Fiddler Everywhere 登录

　　Fiddler Everywhere 下载后会自动安装，点击安装。Fiddler 安装直接运行程序。进入程序时，您需要登录您的帐户。如果您还没有帐户，请自行注册。注册成功后，点击现有用户？登录以登录帐户。登录后即可进入主界面。

　　提琴手无处不在的界面

　　《孤狼》喜欢这个版本的 Fiddler Everywhere 的主要原因是界面干净简洁。左边的Live Traffic页面显示了实时捕获的数据包，点击数据包需要分析哪个数据包。右上方可以显示数据包发送的请求数据，右下方可以看到服务器响应包。并点击 Composer 切换到数据包编辑重发界面。

　　Fiddler Everywhere 配置

　　点击右上角的配置按钮，切换到Connections界面，可以设置代理连接端口。默认端口是8866，如果这个端口被占用，也可以自定义。默认情况下选中下面的框以选中所有其他选项。现在基本可以抓取HTTP数据包了；至于HTTPS包，我们会在下一篇文章中讲解。

　　Fiddler 抓取手机数据包

　　接下来使用Fiddler抓取手机数据包。首先需要确保手机连接的WiFi和Fiddler在同一个局域网内。然后在手机上长按Wifi->勾选高级选项->手动代理，代理服务器主机名填写Fiddler所在电脑的内网IP，在命令行窗口输入ipconfig命令查看内网电脑的IP。端口号是 Fiddler 配置的端口。保存后就可以在Fiddler上抓取手机的数据包了。

　　Fiddler 抓取浏览器数据包

　　我们以火狐浏览器为例。首先打开浏览器的设置->通用->网络设置。默认是不使用代理服务器。选择单选按钮手动配置代理，然后填写IP地址和端口并保存。在浏览和访问某个网页时，可以在抓包工具Fiddler上实时看到数据包的流向。

　　Fiddler抓取数据包的效果演示

　　下图是手机模拟器中的浏览器访问网页，左边的Fiddler也成功抓取了网页请求的数据。和普通的数据爬虫一样，工作原理是模拟浏览器或App发送数据请求。服务器接收请求并返回请求的数据。数据爬虫获取数据后，对数据进行处理分类成表或数据库。

　　抓包工具Fiddler能抓到App界面吗？

　　由于上面的抓包演示是围绕浏览器进行的，所以有朋友认为抓包就是围绕浏览器一圈。其实通过上面配置抓包工具，可以直接抓到抖音快手的app的数据接口，但是由于Android7.0，用户证书不会在未来，抓拍就像抖音快手这些app会让这些app没有网络。

　　但这些都不是问题。下期关注公众号孤狼工作室，为大家讲解如何解决无网络爬取大型应用的问题。