Fiddler 网页采集抓包神器__手机app抓包

　　用curl技术开发了一个陌陌文章聚合类产品，把抓取到的数据转换成json格式，并在android端调用json数据插口加以显示；

　　基于weiphp做了一个掌上头条插件，也是用的网页采集技术；和一个创业团队一起在做一个中考志愿补报系统，所有的数据也是从别的地方抓取。

　　总而言之，网页抓取与网页采集技术是一项十分实用的技能，他能使我们高效快速的获取我们开发产品所须要的一些基本数据。

　　网页抓取与网页采集过程中难免须要用到抓包技术，所谓抓包，就是我们在访问一个目标网站的时侯，需要剖析我们递交给浏览器的一些http请求以及递交给浏览器的一些数据，在晓得恳求是怎样发起的以及post了什么数据以后，我们能够针对目标网页写出相应的采集程序。特别是在模拟登录一些须要用户进行登入验证的网站时，抓包剖析就显得很重要。

　　一些浏览器自带抓包剖析工具或则有其可扩充的抓包插件，像火狐浏览器有firebug插件，IE浏览器有HttpWatch。每个抓包工具都有其独到的功能，这里就不一一介绍了，今天给你们介绍一个好用的抓包工具Fiddler。

　　手机APP抓包

　　现在我们来结合一个具体的事例来讲一下怎么抓包剖析手机APP的恳求数据，并达到自己的需求。我这儿给你们讲一个LOL盒子的抓包实例。

　　我们晓得，LOL盒子没有网页版，或者说网页版的功能并不象手机APP一样数据整合的这么齐全。如果我们要做一个陌陌版的LOL盒子，让用户在微信端回复一些关键词才能查看一些基本信息，比如用户在陌陌中回复“英雄”就能查看LOL全部的英雄信息，包括出装、符文之类的。那么我们想在陌陌端实现这种功能，肯定须要数据库的支持，如果我们的数据从LOL官网抓取的话，免不了要写好多匹配规则，所以一个简单高效的方式是直接抓取LOL盒子早已整合了的数据。那么题外话开始，我们开始抓LOL盒子集成的全部英雄的数据。

　　1、首先在手机下载LOL盒子，并步入首页（请忽视我这个战五渣的战斗力指数）

　　2、打开Fiddler并点Remove all把抓包信息全部消除

　　3、在LOL盒子中点击英雄步入查看英雄页面

　　4、可以看见查看英雄页面有免费、我的英雄、全部三个选项

　　5、这时候我们可以看见Fiddler早已抓到我们须要的数据插口了

　　6、我们在其中一个数据插口里面点击右键，复制url地址并在浏览器中打开

　　7、就能看见我们须要的周免英雄的数据插口了，是json格式的

　　到此为止，抓包剖析的整个流程你们一目了然了，得到了json插口以后，我们能够用curl技术把数据采集下来，并把json格式的数据转换成链表或则其他格式，然后就可以存到我们自己的数据库中了，当用户在陌陌中回复关键词时，我们就从数据库中取出相应的数据并回复给用户就行了。