采集文章系统(一个约定好该系统一个指定的栏目设置采集计划(组图))

　　采集文章系统(一个约定好该系统一个指定的栏目设置采集计划(组图))

　　Information采集User Manual Summary Information采集是捕捉网络数据，实现信息共享的功能模块。提供手动抓取、定时抓取、定时循环抓取三种模式。它可以从单个新闻列表中抓取信息，也可以同时从多个列表中抓取新闻信息。步骤和细节现在需要将网页的数据（新闻）采集传输到webplus系统中的指定栏目。步骤如下： 为指定的列做一个采集计划。在栏目管理中选择栏目，点击设置采集plan。 （例如：图一)设置采集的基本属性。包括执行方式、信息是否自动发布、采集的列类型以及页面的编码格式。（例如：图二)为此采集事先约定了@plan的执行方式是手动、定时单次或定时循环执行，如果只针对采集网页的当前数据，我们可以使用手动和定时单次采集一次；如果是采集webpage 数据会被更新，我们需要保证信息的同步，即使用定时循环采集 判断来自采集的信息是否需要发布.如果采集发来的信息不需要修改，可以直接公开到网上，选择自动发布。如果采集发来的信息需要修改、审核等，选择不自动发布.采集完成后，信息管理器会进行其他操作。 采集的umn类型如果采集的网页只是一个新闻列表，即页面的新闻采集放在指定的栏目下，则选择单栏。

　　如果被采集的页面有多个新闻列表，并且每个都提供了一个单独的链接进入自己的新闻列表页面，我们需要采集的所有新闻信息，那么选择多列。另外，如果采集的页面是RSS信息聚合页面，设置为对应的RSS单栏或RSS多栏。通过采集设置页面的编码 由于webplus系统使用的是UTF-8编码格式，而采集可能是其他编码格式，那么为了避免采集来的信息乱码，需要设置为采集页面的编码格式。本文来自计算机基础：设置采集plan 采集plan设置的采集规则单列（如：图三)设置“列表页起始URL”为访问路径采集页面。（必填）设置“文章页URL获取规则”，如果新闻列表是通过采集嵌入到网页中的iframe中，则需要设置规则获取链接地址list iframe 访问新闻列表。否则， no ​​需要制定此规则。（具体规则方法请参考下面的“采集正则表达式制定”）。如果采集的新闻列表网页有分页，则根据新闻列表的分页方式（链接和表单提交）制定分页规则，需要设置起始页码、间隔页码、采集页码。没有分页，不需要制定这个规则，如果页面被采集有多个新闻列表，并且更多新闻列表的url规则类似，但是我们只需要采集指定的一个列表，即我们需要设置规则来限制文章lists的获取。这是为了避免采集冗余数据。

　　否则，无需设置此规则。设置文章url获取规则，以便能够从采集页面访问特定的新闻页面，从而进行新闻采集。 （必填）设置“文章内容取法”的具体新闻页面。如果文章内容以iframe的形式嵌入到新闻页面，则需要设置规则获取文章iframe的链接地址。访问新闻内容。否则，无需制定此规则。如果新闻内容有分页，则分页规则按照文章content分页方式（链接和表单提交）制定，需要设置起始页码、间隔页码和采集分页的页码。如果文章内容没有分页，则无需制定此规则。如果新闻页面中除了新闻内容之外还有其他附加信息，那么为了在采集过程中更容易找到新闻内容，需要设置限制获取新闻内容的规则。一是避免垃圾邮件，二是降低新闻特定信息获取规则的复杂性。如果新闻页面比较简单，一般不需要设置这个规则。设置新闻属性的规则是可选的，除了标题和内容。另外，如果未设置新闻发布时间，则以当前时间作为发布时间。多列采集plan的设置（如：图五)Multicolumn采集计划） 除了在“列表页面起始URL”下设置列表页面URL规则和在“文章页URL获取”下设置列rules" 获取名称的规则与单列采集plan 中设置的规则相同。

　　RSS单栏采集计划的设置（如：图中四)RSS单栏的采集计划不需要设置“文章页URL获取规则”，其余与单栏采集计划一致。RSS多栏采集计划的设置（如：图六)RSS多栏采集计划需要设置列表页URL获取“列表页面起始URL”下的规则，其他与RSS单列采集计划一致。采集Rule表达式制定表达式设置和调整，以及测试表达式列表点击一个地方采集页面“获取规则设置”进入规则表达式列表页面（如：图七)此页面除了可以添加、修改、删除和调整表达式的顺序，还可以输入url、iframeurl以及设置表达式后的页面内容测试表达式规则列表 设置各种类型 表达式类型 表达式类型分为ed 分为四种类型：字符串、匹配、匹配替换和公式。其中，匹配和匹配替换需要使用java正表达式，这就需要采集计划SET人员对表达式有一定的理解。 String：直接输入字符串常量匹配：从指定文本（URL、IframeURL、页面内容）通过正则表达式获取文本S中的部分内容匹配替换：首先从指定文本（URL、IframeURL、页面内容）通过正则表达式获取文本中的部分内容S。然后用替换正则表达式替换S中匹配的内容，得到正确的内容。

　　公式：仅支持[pageIndex]，用于获取页面地址时表示页面的页码。图标详情进入栏目管理（图一）Settings采集计划，在右侧栏目列表中选择一栏，点击Set采集计划。（图二）执行方法可以：手动（需要在列列表中点击）“立即采集”启动采集）单次（可以设置时间，到时采集会自动启动）循环（指定间隔时间） , 自动循环采集) 可以设置采集为文章 是否自动发布. 为采集的列类型：单列（采集此列下仅文章）单列RSS（ 采集一RSS地址文章)多栏（采集栏和子栏下文章）多栏RSS（从一个RSS列表地址开始，采集文章在多个RSS地址下，每个RSS地址形成一个子栏）编码方式是通过采集页面采集rule单栏方式的编码设置（图片三）单栏RSS方式（图片四）这个方式不需要设置文章page URL ac查询方法，其他方法同单列法。多列方法）（图片五）该方法的起始页一般是列表页的集合。对于单列的方法，需要设置获取列表页的方法和列名规则。其他的是与单栏一致 多栏RSS（图片六）此方法） 需要设置从起始页（列表页网址）获取RSS地址，其他与单栏RSS一致。设置获取规则（图七）（图八）（图九）（图十）（图十一）））@（图10二）如上图，获取规则由多个表达式，添加多个表达式获取需要的URL，获取文章的标题内容等属性。

　　表达式分为4类： string：直接输入字符串常量匹配：从指定文本（URL、IframeURL、页面内容）通过正则表达式得到文本中的部分内容S。匹配替换：首先通过正则表达式从指定文本（URL、IframeURL、页面内容）中获取文本中的部分内容S。然后使用替换正则表达式替换S中匹配的内容，得到正确的内容。公式：仅支持[pageIndex]，用于在获取页面地址时表示该页面的页码。此页面还可以测试设置的表达式。您可以使用表达式帮助来理解正则表达式的语法。查看采集计划的状态。回到栏目列表，可以看到如下图（图10三）采集status中的3个图标代表采集计划的运行状态（是否正在运行，是否已经运行，等））、采集方式（单列、单列RSS、多列、多列RSS）、执行方式（手动、单列、循环），点击查看采集计划的详细信息， （图10四）采集计划示例以采集新浪网站体育新闻列表网页为例，该网页的访问地址为HYPERLINK "/nba/1.shtml" /nba/ 1.shtml.采集 的内容放在一个“体育新闻”栏目下，由于这是一个测试示例，我们对采集使用手动执行方式，采集到达的信息不需要自动发布。

　　本网页是一个简单的新闻列表页面，编码方式为GB2312，所以我们将采集的列类型设置为“单列”，编码方式为gb2312采集。新闻不需要自动发布。如下图，由于这个页面的新闻列表内容不再在iframe中，也没有分页，所以不需要设置“在IFRAME中列出页面内容”和“列表页面分页”的获取规则方法”。并且新闻列表的内容不需要设置“限制文章list 内容”规则。设置文章url 的获取规则。由于本网页的新闻链接类似于以下网址：HYPERLINK "/k/2009-07-07shtml" /k/2009-07-07shtml，因此制定如下表达规则： 匹配内容类型：页面内容匹配表达式： /k/(\d+)-(\d+)-(\d+)/(\d+)\.shtml 匹配组：0（获取整个匹配结果） 获取采集 @Page源文件，粘贴进去页面内容，点击“测试计算-列表模式”，结果将显示所有匹配的URL列表，如下图所示。由于文章content不在iframe中，文章content没有分页，文章content不需要限制在页面中，所以“文章page内容在IFRAME中”的获取规则， 文章内容分页URL"和"limited文章页文章内容"不需要设置。 文章标题规则设置 因为新闻页面源文件中文章的标题在以下位置：休斯顿球迷期待姚明*敏*感*词*健康是火箭未来的希望表达规则表达类型：匹配内容type：页面内容匹配表达式：(.+?) 匹配组：1（获取匹配结果中的第一组，每个括号为一组）获取采集页面的源文件，粘贴到页面内容中，点击“测试计算-内容模式”，结果中的标题内容如下图位置：

　　北京时间7月7日，休斯顿新浪体育。据ESPN报道，姚明还没有决定是否接受*敏*感*词*来修复他的脚伤。虽然现在诊断姚明的三位主要医生都推荐*敏*感*词*，但姚明还在犹豫。

　　至于姚明现在的想法，大家都知道，姚明之所以还在犹豫，是因为他知道，如果他动了*敏*感*词*，下赛季他缺席也不是没有可能。 29岁的姚明不希望白费。花了一年，浪费了一年。毕竟，运动员的巅峰期就是这么一段时期。没有人能保证那个时候的姚明能保持好水平。

　　姚明犹豫不决，但休斯顿球迷对姚明有不同的看法。大多数球迷认为姚明应该毫不犹豫地接受*敏*感*词*。他们的理由是，既然有恶化的趋势，保守治疗的效果还不清楚，他们不应该做出*敏*感*词*的决定。毕竟，一个健康的姚明对火箭来说是最重要的。如果有必要，如果保守治疗后还需要*敏*感*词*，那姚明就输了。

　　“亲爱的姚，请你下定决心去做*敏*感*词*。即使你下赛季缺席，也不要犹豫，去做吧。如果保守治疗最终治愈，仍然会让我们颤抖，还有下个赛季会更多。可能有问题，最好做*敏*感*词*解决根本原因。你可能会输一年，但我们相信你会给休斯顿带来更健康的三年、五年，甚至更长时间。未来。”一个粉丝说。 .

　　确实，这位球迷说出了大多数休斯顿球迷不得不说的话。没有人愿意看到姚明在没有彻底治愈的情况下重返赛场。如果姚明再次受伤，相信对包括姚明在内的所有休斯顿球迷来说都是沉重的打击。

　　也有球迷表示姚明*敏*感*词*应该放心。给姚明检查确诊的医生，就是给骑士队中锋Z做*敏*感*词*的医生，大Z脚的伤势和姚明的伤势差不多。终于，*敏*感*词*后，1991年，大Z身体健康地重返赛场，接下来的几年也没有出现大的伤病，竞技状态还是比较好的。

　　“像哈达威一样，他们也因为伤病而急剧下滑。我认为这很难发生在姚明身上。姚明不同于希尔和哈达威。姚明是内线球员，虽然脚步移动很重要，但相对来说，弹跳并不是最重要的，姚明在内线的威慑力主要来源于他的身高和惊人的手感，足部*敏*感*词*不会带走姚明的身高，也不会带走他的感觉。 ”粉丝说。

　　总之，休斯顿人基本都希望姚明能接受*敏*感*词*。他们相信*敏*感*词*可以让姚明完全健康，而一个健康的姚明是他们最希望看到的姚明。

　　（小黑）

　　于是制定如下表达式规则表达式类型： 匹配内容类型：页面内容匹配表达式：(.+?) 匹配组：1（获取匹配结果中的第一组，每个括号为一个分组）获取源文件将采集页面粘贴到页面内容中，点击“测试计算-内容模式”，结果为文章内容如下图。 文章的其他属性这里没有设置。如有需要，请参考标题和内容的表达方式进行设置。 采集计划设置好后，选择“体育新闻”栏目，现在点击采集，稍等片刻，查看该栏目的内容管理，就会看到如下内容。另外，在“体育新闻”栏目中点击采集状态可以在栏目管理中查看采集采集的运行状态，如下图：