文章网址采集器下载量监控代码文件、脚本、案例方法

　　文章网址采集器下载量监控代码文件、脚本、案例方法

　　文章网址采集器下载量监控代码文件、脚本、案例抓取方法

　　1、在*敏*感*词*游戏中选择想抓取代码，

　　2、使用抓包软件截获数据包：fiddler、wireshark、phantomjs、postman等都行，有需要的自己选择。有专门做网站监控的脚本也是可以的，

　　3、获取网站统计源码在谷歌浏览器打开，在主页面上左侧选择查看源码，就可以看到网站统计源码了。生成的如下二维码，你可以自己解码、解压缩、转换二维码。

　　4、把网站统计源码粘贴到excel中使用抓包工具截获整个页面的统计源码后，需要利用excel将抓取到的统计源码转换成数据，大家可以随意找一个url，转换之后如下，因为代码在地址栏里，不一定每个网站都有代码，我这里用的是哈啰出行，

　　直接用wireshark比较便宜一百块一个不贵

　　wireshark已经可以从你的浏览器上收到所有网站的统计数据了，不存在爬虫的情况，这个功能非常给力，并且免费且无需安装。首先安装并配置wireshark，下载地址：downloadwiresharkandotherwebaccessheadersforwindows7.downloadfirefox和chrome也都有，安装包在firefox的扩展商店中，直接搜索就可以找到。

　　安装完毕后，打开firefox，添加个扩展：利用浏览器扩展：+history_sensitive_extraction，如下图所示：接下来的教程就非常简单了，只需要3步即可完成抓取网页，看图：。

　　1、登录一个账号，

　　2、在登录成功之后，点击previewwebmachinelogin，如下图所示：在左侧，如果你是账号登录，那么会给你开通一个globalmachineloginservice服务，如果是用appleid的账号登录，

　　3、在网页中找到你想要抓取的网页，如果出现问题，可以先尝试利用它自身的*敏*感*词*来解析网页内容，比如这里就是网页地址：useragentcode。如果解码失败，可以使用“嗅探探测”，有免费版，解析稍微麻烦些，如下图所示：找到你想要的内容，并且点击右键，

　　4、以第一个“#”为例，获取一个网址值：这个值是你密码后面的格式数组，让我们知道怎么获取就好了，下面按照我自己的习惯写一个例子：获取成功之后，右键查看源代码中的所有结果，包括代码：下面查看有效内容。因为我并没有账号，为了方便手机号获取，我这里选择手机登录来分析一下，打开网页中右侧红色箭头标记的位置，就是登录后下面的红色框图标，可以看到密码的值用整整四位字母填充。完毕，抓取完毕~接下来解决爬虫问题，上面已经安装。