丰富的采集神器(网站流量分析、用户量分析（猫爪）的抓取问题)

　　丰富的采集神器(网站流量分析、用户量分析（猫爪）的抓取问题)

　　丰富的采集神器。功能非常强大，各种爬虫，tor，scrapy，会员数据爬取，相册内容爬取。

　　帮一个公司做过网站的爬虫，大概一千*敏*感*词*一个月。讲点有用的。的虚拟主机爬虫会涉及到会员qq号的爬取，就是这个。然后一般做ddos的前期都会有个虚拟主机号吧（黑脸之类的），手上网站比较多。考虑一些细节的爬虫，会涉及到爬虫聚合类服务，比如爬qq音乐的时候，一个qq号有两首歌，那么能否爬取到所有歌曲的mv？用户分析是否需要爬虫后台填入一些自己用户的行为数据？这些需要跟开发商讨，效果看怎么样。

　　比如我接触到的猫爪数据，提供了网站流量分析，歌曲质量分析，app用户量分析（猫爪需要这种接口或许是因为基础能力弱，我网站基础能力是支持，然后有一些公共接口可以解决app调用的数据问题）。腾讯也提供了网站流量分析、用户量分析，付费解决ip。然后是top500网站的抓取问题，这个主要看看爬虫对接上下游互联网服务商的功力，以及对接的公司品牌服务是否有口碑优势。

　　比如我目前对接的公司就比较好，其实也可以定制一个top500网站的爬虫，一次性付费可以全面爬取500个网站，我的要求有点过高，暂时接受不了，因为我怕爬取成本高并且不稳定，性价比比较低。其次是抓取方案问题，目前我分析有三种，例如建立开发框架模块化模拟人工维护爬虫，抓取精准链接定向请求抓取等等。最后是抓取识别问题，如果开发过ddos会有体会，知道我们厂的渗透通常在深夜修bug时进行，有人敢干扰就会出bug，我们就考虑统一抓取识别，识别标准是一致的。

　　希望能帮到你。欢迎关注我的专栏：里面不定期分享java架构技术知识点及解析，还会不断更新的batj面试专题，欢迎大家前来探讨交流，如有好的文章也欢迎投稿。java架构之*敏*感*词*不欢。