抓取网页数据工具(模拟器逍遥安卓模拟器官网下载好之后打开如下图图)

　　抓取网页数据工具(模拟器逍遥安卓模拟器官网下载好之后打开如下图图)

　　刚接触爬虫的时候，我们通常使用浏览器的开发工具——F12中的NetWork来抓取网页，但这有个缺点，就是如果网页加载了很多乱七八糟的东西，比如广告，各种js之类的，NewWork好像有点难，需要用更强大的工具抓包，我个人比较喜欢用Fiddler，毕竟免费好用，还有朋友用喜欢它的查尔斯也可用，仅在有限的时间内免费。

　　下载链接放在这里：

　　Fiddler官网下载

　　查尔斯官网下载

　　fiddler 在这里测试。

　　安装完成后，我们打开fiddler，然后打开浏览器，可以看到现在fiddler代替了我们的开发者工具，爬取了http请求。这时候我们需要做一些设置，让它可以抓取https请求。

　　注意

　　如果您要捕获应用程序，请从仅浏览器更改为从所有进程。

　　以下是应用捕获的配置。

　　接下来，您需要使用真机或模拟器。这里我们推荐一个模拟器，MEO Android Emulator。

　　传送门 --> MEMO Android 模拟器

　　下载后打开图片如下图。

　　这时候就需要配置模拟器了，真机也是一样的步骤~！

　　打开cmd输入ipconfig可以查看代理服务器的主机名。代理服务器的端口号与您的提琴手的代理端口号相对应。完成此步骤后，点击保存。

　　但是仍然无法捕获移动应用程序，需要安装证书。这时候打开手机自带的浏览器，在地址栏输入你的代理服务器名称+端口号，如下图

　　点击 FiddlerRoot 证书下载并安装证书。

　　你已经完成了

　　现在我们可以抓取应用了，以酷航应用为例：

　　可以看到我们已经抓取了Scoot App的查询请求，你可以重新发送，进行各种花哨的操作~

　　但是如果你需要进一步了解，比如Scoot app会生成一个wtoken参数，这个参数就像网页中的js加密一样，是在apk的底部生成的，我们需要捕获它以备不时之需模拟生成，因为这会在服务器上进行验证，网页上的js加密token是一样的，需要Android****和反编译。有兴趣的童鞋也可以了解一下，需要一定的java基础！

　　需要帮助的童鞋们可以留言讨论，一起学习进步~！