云优cms采集插件的核心思想是什么？（一）

　　云优cms采集插件的核心思想是什么？（一）

　　云优cms采集插件一般来说，采集cms内的数据，常用的插件有ikprosec，ejsprosec，elasticsearch，acutejs。这些插件的核心思想是：我们提供一个完整的数据流，让所有要进行搜索的cms去使用，并形成数据收集入库；cms程序自行去搜索这些数据，也就是说，这些插件是自动收集的。

　　举个例子，假设我们在cms中有百度首页、百度在线、首页加上文章页，并进行搜索，那么如果我们用ikprosec，那么，自动收集的只是首页以及首页加上文章页；而如果我们用elasticsearch，我们可以收集所有百度在线和文章页，并形成数据的统计和分析；同样，假设我们想要抓取某一篇文章，进行分析，那么只要将这一篇文章分拆到多篇文章中，也就是可以将多篇文章合并到一篇文章中，这样，当我们在搜索中看到相应的文章时，就会自动找到文章中的某一篇；当然，对于一些特殊要求的，比如，文章存在作者信息、页面链接，就是我们所需要分类的目标等等。

　　另外，一些特殊插件有时候还会涉及到抓取的原始数据的excel、csv等文件格式文件的形式等。抓取数据的量级假设我们抓取的数据量级是1万个，那么意味着我们会先有10000个抓取的案例，然后还有8000个来自于离线数据库中；最后还有2000个是未来我们进行搜索的源数据。我们假设如果数据量级是100万个，那么意味着我们有1000万个案例，并且把这1000万个案例进行整合，形成一个大型的数据库表。

　　当然，实际抓取的数据量级并不是按照这样计算的，我们计算的意义是，我们能够找到一些热门文章并且能够按照我们目标和目标人群进行有效地抓取和搜索的文章量级，因为量级太大时可能会有大量的重复文章，而且时间成本也不是我们想要忽略的。抓取案例我们假设一个案例一个案例的抓取，例如，抓取一些淘宝的文章，抓取一些腾讯的文章等等。

　　它也必须要有规则形成数据流，比如，我们可以按照类型分类抓取，例如，我们假设，我们把这些根据整合的方式，成为一个大型的数据库表，那么，我们就可以通过字典来存储我们需要抓取的数据。什么是规则？我们所说的规则主要是我们文章本身的相关内容需要有一个分类，并且我们还可以进行规则的形成和存储。比如，我们需要抓取腾讯qq的文章，我们就需要一个qq号码，然后，我们需要用规则来明确我们需要抓取的内容，比如，你需要抓取腾讯的新闻，那么你需要把新闻分为以下几种：社交、娱乐、体育、旅游、电商等等。

　　明确了我们需要抓取的内容后，我们就可以通过上一节所讲的搜索方式来对案例进行抓取。数据量级更小的情况下，一般我们通过搜索页面检索即。