采集器

　　采集器

　　SupeSite 支持手工采集和智能采集，手工采集需要您自己配置采集规则，智能采集只需您添加须要采集的网址地址即可，程序会手动为您采集网站的信息。接下来分别为您介绍两种采集方式：

　　一、手工采集：

　　手工采集即自己配置采集规则。打开 SupeSite 的“系统设置”，点击“资讯管理”的“采集器”，然后点击“添加新机器人”。

　　首先简单讲解制做采集器的基本原理和思路：

　　1、确定您要采集哪个页面的新闻，将那些页面的地址填入到“列表页面采集设置”的地址框；

　　2、确定在那些页面您要采集的内容区域，因为不是一个网页所有的内容都要采集回来，而是采集一个网页的一部分内容，所以您必须告诉程序您要采集的区域，也就是“列表区域辨识规则”；

　　3、第2步确定区域以后，还要告诉程序您要采集的文章链接，也就是“文章链接url辨识规则”。

　　4、现在早已确定了大的采集框架，接下来要告诉程序在一个文章页面，文章的标题（“文章标题辨识规则”），文章的来源和作者分别是哪些。然后就是一篇文章内容的范围，也就是说一个文章页面内，真正您须要采集的范围，就是“文章内容辨识规则”。最后设置分页的区域和分页的链接地址。

　　5、以上4个步骤早已确定了采集的范围，如果您须要过滤标题和内容，请按照您的要求设置每一项的过滤设置，如“文章标题过滤规则”和“文章内容过滤规则”等。

　　以上几个步骤确定范围都是通过查看页面源码，进行设置的，截取的方式须要一些经验，练习2－－3次就可以体悟到了。

　　接下来介绍采集器的基本原理和步骤：

　　第1：打开 SupeSite 的“系统设置”，点击“资讯管理”的“采集器”，然后点击“添加新机器人”。

　　这里须要非常强调的是：单次采集个数和手动导出。单次采集个数尽量设置较小的数字，以免超时。自动导出，请选择资讯分类，可以直接将采集的结果导出到资讯库中。如下图：

　　

　　第2：填写“列表页面采集”和“采集页面编码”。请填写要采集的页面地址（列表页面地址）。这里分为手工输入和手动输入：手动输入须要您自己将所需采集的地址逐行输入。自动下降只需填入采集页面的地址和页面页脚，用[page]代替分页变量。如下图：

　　

　　点击上图中的，尝试链接，可以看见如下图的页面，这样可以判定您的服务器是否可以链接到要采集的网站，即测量服务器是否容许采集，如果这儿显示未能链接，则不能采集该网页。

　　

　　设置“采集页面编码”，是您采集网页的编码，并不是您站点的编码。这里谨记！！如下图：

　　

　　第3：设置“列表区域”和“文章链接”的辨识规则。如下图，填入列表区域的规则和文章链接的规则，采集内容的范围用[list]代替，采集文章的标题用[url]代替。文章链接URL的剔除和过滤规则，请您参考图片里的详细说明，这里不再赘言。

　　

　　第4：设置“文章标题”识别规则，如下图，文章标题用[subject]代替。文章标题的过滤规则，剔除规则，替换规则，收录关键字，请您参考图片里的详细说明，这里不再赘言。

　　

　　第5：设置“文章内容”的辨识规则，如下四图，都属于文章内容辨识规则。文章内容用[message]代替，分页区域用[pagearea]代替，分页链接用[page]代替，信息来源用[from]代替，文章作者用[author]代替。同上，一些过滤，剔除等规则，请您参考图片里的详细说明，这里不再赘言。

　　这里说明几点：

　　文章内容低格：此操作将消除网页多余代，并将文章内容按原有段落分段。格式化的过程为程序手动剖析，会存在一些偏差。

　　保存内容中的图片到本地和保存内容中的FLASH到本地，这里选择是否将采集到的图片和Flash储存到本地。如需将对方网站的图片储存到自己的服务器上，请选择“是”！

　　

　　

　　

　　

　　至此早已设置完一个采集规则，然后点击“开始采集”，采集完毕以后点击“查看结果”。最后将采集的内容导出资讯。这里说明一点：采集的内容只能够导出资讯这个频道。

　　

　　

　　

　　这里重点说明，导入后删掉和不删掉，如果选择删掉，则采集来的信息在导出资讯以后，将难以再度被使用。

　　二、智能采集：

　　智能采集为您提供特别简单，易用的采集方式。只要将您须要采集的站点地址添加到地址框，然后点击开始采集即可。

　　智能采集集成于手工采集中，您只需将采集的地址填入地址框，然后点击递交即可。