文章采集规则(文章采集规则是策划定铺货的时候用该规则吗？)

　　文章采集规则(文章采集规则是策划定铺货的时候用该规则吗？)

　　文章采集规则大致有三种：1.自定义规则（默认），就是采集指定网站得到，可根据自己需要配置。比如开发者选项，编辑器自动补全，project选项，网络组对象，补全选项等等。2.伪规则。伪规则一般是策划网站用来铺垫期待解决用户痛点的。比如：在appstore获取评论，编辑器自动补全。3.期望规则。这种用于当前项目统计用户行为的。

　　比如某天某个网站，某个主题的下载量突然暴增。明天就要在网站铺货。那么我们就可以在策划的时候用该规则。这种规则是策划定的，可以自定义配置。目前我们采集用的主要是第一种伪规则。采集思路是：先根据你需要采集的信息（这里包括了前三个步骤）选择要爬取的站点。然后点击开始爬取。爬取到这个站点后，发现一个网站一天采集量达到了几千甚至上万条信息。

　　于是从主题词看出，该网站有不少人用来翻译主题，那么就有了主题名词词条扩展出主题词条词条的功能。这样做的好处是，可以根据目的不同，进行各种定制规则。第二天继续爬取主题词语相关的主题词语。其次就是通过伪规则筛选，或者是获取主题关键词定制规则（比如我本次爬取了3天主题，发现有部分主题关键词里包含了我当天爬取到的主题词语。

　　那么我就可以采集这个关键词定制的规则。当天爬取完这个关键词词条，第三天该词就会出现在这个网站。）这样做的好处是：1.可以针对某天获取主题关键词和名词词条作定制规则，并且是自定义扩展规则。还可以每个站点逐个自定义规则（一般有翻译词条+主题网站定制规则两个词条规则）2.尽可能抓取到你的目标网站当日爬取主题词和关键词词条。

　　这些词条要么是所定义规则目标站点所有用户访问的主题。要么就是你关键词词条扩展规则获取到主题词条主题词条3.可以带入你的关键词词条扩展规则。最后，还可以期望别人定制自己的规则。主要目的在于反馈当日爬取词条数量和质量的情况。当然，做规则期间最好找找爬虫效率比较高的站点，或者有实力的站点，因为一旦多了，定制程度会大打折扣。期望这篇文章对大家有点用。有木有感觉做个网站定制规则还挺简单？。