解决方案:网页采集器的自动识别算法是通过前端手动的去判断

　　解决方案:网页采集器的自动识别算法是通过前端手动的去判断

　　网页采集器的自动识别算法是通过前端手动的去判断这个网页到底是哪来的，而不是用户自己去点击。比如某网站可能会有好几个图片，或者有几个不同的栏目，用户在哪一栏点击了，那么网页就自动识别，或者用户需要认证，那么也会找人给你去核实真假的。而且不同的网站，由于用户登录习惯的不同，肯定会对同一个用户的不同行为产生不同的判断。

" />

　　第三，已有的网页抓取工具都可以自动识别是否是爬虫抓取，也是因为爬虫会定期更新自己的网页，从而让自己每个网页都能进行不同的分析。总的来说，无论是人工手动识别，还是算法识别，都是用来辅助的。而且如果爬虫一次性抓取爬取完所有的网页，那么还不如让网站多一些循环爬取的选择。

　　monkeyrunner：实现动态抓取phantomjs:google/phantomjs·github

" />

　　其实monkeyrunner本质上只是提供了一个user-agent转换的框架，本质还是传统方式。

　　自动识别方案要从两方面看:1.如果能否让爬虫时刻处于激活状态，也就是产生可用的网页数据，可以和用户验证码等方式综合识别（虽然这些方法的识别效率在时间上是比人类要慢很多），但是比人类更快速识别当然是最好的，另外关键点是在时间上的响应肯定人类更快。2.如果网页没有可用的网页数据，或者没法自动识别，同样需要爬虫实现本地的元素提取。在设计时关键点应该是高准确度要求下的复杂，避免没有可用的数据的方案和识别效率要求高的方案。