解决方案:web反爬虫服务免规则采集器列表算法的应用方法

　　解决方案:web反爬虫服务免规则采集器列表算法的应用方法

　　免规则采集器列表算法是一个很大的话题，本文主要关注list_info,position_info,query_info等的采集器列表服务。实验过程中，没有哪一种服务算法对于不同采集需求不受影响，都能够对接采集器列表服务。这些列表服务主要可以分为两类：基于爬虫技术的服务，和基于逻辑分词的服务。基于爬虫技术的服务包括webrobots机制中的web反爬虫，lookup方法中的正则表达式匹配方法以及spider分词服务，这部分服务完全依赖于爬虫服务端配置。

　　基于逻辑分词的服务包括手工分词和聚类分词两部分，由于手工分词需要对分词结果做一定程度的拼写或词性修正，因此计算复杂度较高。这部分服务完全基于分词服务端配置。为方便描述，下文中统一以基于爬虫技术的服务代称为web反爬虫服务。本文从采集技术角度讨论采集器列表服务。web反爬虫服务中的web反爬虫用于阻止一个用户的爬虫请求，防止爬虫程序正常启动的浏览器对爬虫处理。

　　爬虫不解析任何网页（可以是html，js/javascript，css等），但仍然需要解析网页标题，描述以及文本片段，并将所有其它元素（html，css）转换为由爬虫生成的json对象。它从浏览器获取目标网页的时候，不会实时更新目标的标题，描述等数据。这种反爬虫技术要求爬虫以完全客观的事实（datanothing）为依据，在目标机器本地保存对应的数据，因此，更新更快，同时也需要更多的计算。

　　其核心技术在于目标网页请求获取方法（sliderurl）的实现，这部分实现我写了一个客户端，完全免费使用，中间的步骤为webrobots实现（peer-to-peermethod），爬虫返回的json和html是保存在客户端的。web反爬虫服务的主要实现方式为基于爬虫技术的服务，例如正则表达式匹配方法以及spider分词服务。

　　所有这些服务的共同优点是由于url根据请求者贡献的url生成，因此爬虫效率可以很高，同时由于语言对编程语言比较统一，也不需要额外编写爬虫类来实现对象之间的关系解析以及对结构性变量的访问，因此，爬虫开发速度会很快。更重要的是，这些服务就像网站内的爬虫服务，提供了对爬虫数据的直接控制，也就避免了爬虫动态生成文档的问题，这些服务由于都是客户端提供，因此从服务体验上来讲和web反爬虫的弊端相比，可以做到最好。

　　此外，由于爬虫的生成非常直接，所以也不需要考虑数据过滤，由于它是基于url的，使得它成为一个更可控的爬虫系统。简单比较一下web反爬虫服务和基于爬虫技术的服务：web反爬虫服务在爬虫实现上必须完全依赖爬虫服务端配置，而基于。