网站程序自带的采集器采集文章(PC客户端和移动端app开发商的详细介绍-1. )

　　网站程序自带的采集器采集文章(PC客户端和移动端app开发商的详细介绍-1.

)

　　1. 工人要想做好事，必须先磨利他的工具

　　在开始工作之前，做下载的爬虫工程师都是一套人力必须熟练使用的工具。最基本的工具包括：

　　1.1资源展示媒体

　　由于资源展示媒体的多样性，围绕爬虫爬取资源所需的展示媒体也多种多样，大致可分为：浏览器（PC和移动端）、PC客户端和移动端APP。

　　浏览器

　　在浏览器中，Elements、Network、Sources、Resources是爬虫工程师需要注意的标签；Network是网络请求的原创数据，Elements是浏览器渲染的数据。PC客户端和手机应用程序在此不做介绍。

　　1.2 抓包工具

　　目前可用的数据包捕获工具有很多，包括：Wireshark、fiddler、Firebug、HttpFox、tcpdump、sniffer、omnipeek 和 charles。推荐使用：Wireshark。

　　Wireshark 是一个小型的开源数据包捕获工具软件，几乎可以在所有流行的操作系统下使用。非常适合普通人学习网络协议，也是协议开发者验证协议的好工具。由于 Wireshark 存在缓冲区溢出漏洞，因此不建议将其用于分析 100M 流量大的网络，也不建议用于分析千兆网络。

　　线鲨

　　查尔斯捕获手机数据包

　　请注意，应关闭计算机防火墙。

　　1.3 Android APK 中

　　抓取Android APK请求数据包时，可以在真机、Android自带的模拟器或第三方模拟器上安装你要抓取的Android APK。使用真手机的过程很繁琐。需要在真机上通过tcpdump抓包，通过adb拉取待分析的包到PC；使用Andorid自带的模拟器比较慢。这里推荐使用第三方模拟器。

　　目前市面上的第三方安卓模拟器软件主要有两大流派：Bluestacks和Virutalbox，都可以在电脑上玩手游，主要有以下几种：

　　一个。Bluestacks：Android模拟器的鼻祖，由一家印度公司开发，号称在全球拥有1亿用户。不兼容或不支持某些国内流行游戏。受制于内核技术，虽然使用电脑的门槛较低，但游戏的兼容性，尤其是性能并不好。

　　湾。可靠助手：国内最早（2013年开始）基于Bluestacks内核的Android模拟器，优化了用户界面和用户体验。但是它缺乏自己的内核技术，在兼容性和性能上还有很大的提升空间，产品的形态也不能随意改变。

　　C。海马Play：国内第一款基于Oracle Virtualbox商业版的安卓模拟器。该产品在2014年底推出时，与Bluestacks内核的Android模拟器形成鲜明对比。性能和兼容性都有显着提升，比Bluestacks内核模拟器要好。口碑不错。优点是比较稳定，但是版本更新速度慢，弹窗广告插件多，用户体验差，功能定制不足。

　　d。逍遥安卓模拟器：基于自研定制的Virtualbox强大的安卓模拟器，业界首创的一键多开是它的亮点。版本更新快，性能强，运行流畅，需求响应及时。该模拟器具有良好的性能和兼容性，在优化手游体验方面做得非常好。这是手游玩家的亮点和首选。

　　e. Nox Simulator：2015年年中推出的基于定制化Virtualbox的Android模拟器，直接集成NOVA桌面是它的一大亮点。多开效率有待提高，系统不稳定。

　　氮氧化物模拟器

　　1.4 网络请求模拟器

　　这里推荐使用的是：火狐浏览器的HttpRequester。