无规则采集器列表算法，如何学习规则存储库列表

　　无规则采集器列表算法，如何学习规则存储库列表

　　无规则采集器列表算法我们在前面介绍了最基本的文本爬虫存储库列表算法，其实规则的存储库列表算法非常简单，我们应该先学习的是规则的存储库列表算法的基本思想。在学习规则的存储库列表算法的时候，我们需要明白一点，就是在学习规则存储库列表算法之前，我们必须要熟悉爬虫的运行原理和解析规则库列表算法。毕竟，规则的存储库列表算法在爬虫运行的过程中属于一个很重要的组成部分，要想熟练的掌握规则的存储库列表算法，最重要的是先了解爬虫的运行原理和解析规则库列表算法。

　　在学习规则存储库列表算法之前，我们先看一下规则存储库列表算法有哪些的一些基本原理。规则存储库列表算法有几种可以存储多个规则分词的列表存储方法，我们在最基本的列表采集库中详细介绍。如果要同时存储多个，一般来说，我们可以使用链表或者字典存储在数组中。数组的优点是可以存放不同数据类型，存取速度非常快，而且，能够同时存放多个分词规则。

　　链表的优点是不仅能够存放不同数据类型，而且可以同时存放多个词语。对于一个新的词语，我们需要遍历链表的前部分才能够找到下一个符合要求的词语，而对于整个文本，我们就需要遍历整个链表。了解规则存储库列表算法的基本思想之后，我们再来详细说说如何学习规则存储库列表算法。那么，在怎么才能学习规则存储库列表算法呢？其实很简单，在爬虫的运行中，我们有request对象就可以进行规则存储库列表算法，比如我们在爬虫运行的过程中需要存放你的名字phone这个词的规则，在我们爬虫的运行过程中有class对象就可以进行规则存储库列表算法的学习。

　　这就是很简单规则存储库列表算法。在我们找到分词规则之后，我们只需要简单的调用下就可以在我们的系统中，直接看到我们需要的分词规则。我们的系统就可以像规则存储库一样，可以直接对爬虫直接产生规则。爬虫一般的规则存储库大小为200-500k，我们可以在我们的规则存储库中加入少量的字符，但是，我们必须要一定要将爬虫本身规则存储库的大小需要限制在500k之内。

　　或者，我们可以采用广播机或者采用循环遍历机，定时的将我们的爬虫从请求记录中采集出来的规则进行输出。这样我们不仅可以在我们的系统中看到我们需要分词的规则，同时，也可以定时对爬虫采集出来的规则进行输出。如果我们将爬虫的规则存储库大小保持在500k之内，也可以在我们的爬虫中，对我们采集出来的规则，设置一定的门槛：必须要在worker线程中进行读取和调用。也就是说，我们需要维护爬虫的thread的结构，只能够爬虫本身进行读取和读取规则的读取，