[Fiddler]网页采集所需的捕获工具

　　最近一段时间，有关网页采集的工作更多. 开发了使用curl技术的微信文章聚合产品，将捕获的数据转换为json格式，并在android端调用json数据接口进行显示；制作了一个基于weiphp的手掌标题插件，该插件也使用了网页采集技术；与企业家团队合作，为高考建立自愿报告系统，所有数据也都从其他地方捕获. 总而言之，网页抓取和网页捕获技术是一项非常实用的技能，它使我们能够高效，快速地获取开发产品所需的一些基本数据.

　　在网页爬行和网页采集过程中不可避免地需要使用数据包捕获技术. 所谓的数据包捕获意味着，当我们访问目标网站时，我们需要分析一些提交给浏览器的http请求和提交给浏览器的http请求. 在了解了如何发起请求以及发布了哪些数据之后，我们可以为目标网页编写相应的采集程序. 特别是在模拟需要用户执行登录验证的某些网站的登录时，数据包捕获分析变得非常重要.

　　某些浏览器具有自己的数据包捕获分析工具或可扩展的数据包捕获插件. 例如，Firefox具有firebug插件，而IE具有HttpWatch. 每个数据包捕获工具都有其独特的功能，因此在这里我不会一一介绍. 今天，我将向您介绍一个有用的数据包捕获工具Fiddler.

　　1. 下载地址:

　　二，基本介绍:

　　三，使用教程:

　　四，补充介绍:

　　移动APP捕获:

　　现在，让我们结合一个特定的示例来讨论如何捕获和分析移动APP的请求数据并满足我们的需求. 让我告诉你一个LOL盒子捕获数据包的例子.

　　我们知道LOL框没有Web版本，或者Web版本的功能不如移动APP的数据集成完整. 如果要制作LOL框的微信版本，请让用户在微信上回复一些关键字以查看一些基本信息. 例如，用户可以通过在微信中回复“ hero”来查看LOL的所有英雄信息，包括制作和符文类别. 然后我们要在微信端实现这些功能，我们肯定需要数据库的支持. 如果我们的数据是从LOL官方网站捕获的，则不可避免地要编写大量匹配规则，因此一种简单有效的方法是直接捕获集成的LOL盒数据. 因此，话题开始了，我们开始捕获LOL框中集成的所有英雄的数据.

　　1. 首先下载手机上的大声笑框并进入主页（请忽略我对这五个卑鄙者的战斗力指数）

　　2，打开Fiddler，然后单击全部删除以清除所有捕获的信息

　　3. 在LOL框中单击英雄以进入英雄页面视图

　　4. 您会看到查看英雄页*敏*感*词*有免费，我的英雄以及所有三个选项

　　5. 这时我们可以看到Fiddler已经捕获了我们需要的数据接口

　　6. 我们右键单击其中一个数据接口，复制网址，然后在浏览器中打开

　　7. 您可以以json格式看到我们需要的《周眠》英雄的数据接口

　　到目前为止，每个人都清楚数据包捕获分析的整个过程. 获取json接口后，我们可以使用curl技术采集数据，并将json格式的数据转换为数组或其他格式，然后可以将其保存在我们自己的数据库中. 当用户响应微信中的关键字时，我们将从数据库中检索相应的数据并回复用户.