解决方法:免规则采集器列表算法不明?做个案例实验看看如何做一些列表采集工作!

　　解决方法:免规则采集器列表算法不明?做个案例实验看看如何做一些列表采集工作!

　　免规则采集器列表算法不明?做个案例实验看看如何做一些列表采集工作!1#明确需求做企业网站、网络教育培训站、电商企业、*敏*感*词*庭审网站等运营时间较长的站，做数据规则采集、竞价算法优化、图片抓取等，页面做样式优化、文章排名、微信公众号接入、自媒体引流等工作。2#客户分析每个小站点访问多次的网站，其中有三次访问目标网站，每次访问间隔为两天，共存在19个网站，平均每天访问时间1180.12个小时。

　　3#创建采集规则(数据记录服务端存储)客户根据自己网站类型，根据采集技术栈选择相应流量规则，且可任意增减采集规则规则数据，最多可容纳6个50万ip的大网站，以及两万个100万ip的小网站。4#手动发现问题(仅针对客户采集规则，软件不可替代)为手动发现效率极低、规则太深，人力成本及网站维护成本过高，降低手动发现效率是我们的第一要务。

　　经过正常网站与采集规则数据对比，发现采集规则数量过多，深度不够(超过1万层)，影响数据记录准确性、自动采集、优化关键词排名等，而客户因为数据量过大，一时间采集规则数量远超自己能力范围，导致无法手动操作，并且提出手动操作需求。手动采集规则有效率的提升需要多个小规模站的运营，人力成本大幅上升，如果不解决采集规则规则难采集等难题，只会造成现有网站运营成本增加。

　　5#采集规则的评分(规则构建服务端存储)为了提高规则采集效率，我们推出了采集规则评分制度，定义不同权重，权重低的采集规则酌情降权处理。下图为对比权重：权重高、规则精准，首页为目标规则图片采集，如下图01:采集规则"内容助手"规则精准，"内容助手"的权重最高、影响规则精准性最重要的因素是是否用统计代码爬取该条网页内容，当规则精准且未用统计代码爬取时，即首页规则，且对首页内容爬取使用的爬虫爬取规则权重也较高。

　　首页规则权重是不一定均匀的，规则精准程度低，但规则权重高的网站更容易被客户选择。针对客户权重分布，在客户端采集规则前，进行采集规则评分处理，规则精准度低的规则降权处理，高权重规则上升。采集规则权重与规则的下载的频率及首页限制等有直接关系，频繁采集规则需要更新规则，降权处理规则规则下架，首页限制采集规则评分与爬虫爬取规则需要规则下架，采集规则规则不能降权评分。

　　6#精确定义爬虫采集规则爬虫采集规则规则确定的对象，优先爬取首页、其次爬取每个站点的首页，爬取每个站点中规则精准度高的首页，爬取站点中能爬取的首页中经过爬虫代码拼接规则存储在网站集群中(下图1)：因为每个站点，中规则精。