Dedecms采集含有分页的普通文章的使用方式

优采云 发布时间: 2020-07-24 08:00

  

  单击“保存信息并步入下一步设置”后,便可步入“新增采集节点:第二步设置内容数组获取规则”页面,如(图1)所示,

  

  系统将会手动指定一个“预览网址”,一般是文章列表页的第一篇文章的网址。但是,由于第一篇文章中没有涉及到分页的部份,所以在这里自动修改为第二篇文章的网址:“”,

  上图红箭头部份是写下边来设定分页部份的匹配规则。其具体操作步骤为:

  打开文章内容页面,在网页上单击右键,在弹出的对话框中单击“查看源文件“。在源代码中,找到分页代码的开始部份和结束部份,如(图2)所示,

  

  经过观察可知,分页代码坐落“

  “和”

  ”之间。因此,在”内容分页导航所在的区域匹配规则“中,应填写”

  [内容]

  “。对于分页代码的款式,一共有三种可供选择,这里应选择第一种” 全部列举的分页列表”。填写后,如(图3)所示,

  

  对于“固定采集项目”中的“内容摘要、关键字和缩略图“三个部份,系统会用正则进行手动匹配,这里仅需配置过滤内容即可。下面主要介绍怎么获取“文章标题、文章作者、文章来源、发布时间和文章内容”的采集规则,过滤规则仅简单涉及。

  首先,打开“预览网址“的页面并单击右键,选择”查看源代码“,找到文章标题” OpenFlow网路是空谈吗?“织梦采集规则中分页,如(图4)所示,

  

  图18-在源代码中的文章标题

  这里的文章标题处在””之间,因此这儿应当填写”[内容]”作为文章标题的匹配规则。如果在文章标题中富含相关链接等,可使用过滤规则加以处理,这里无需设置。填写后,如(图5)所示,

  图5-文章标题的采集规则

  经过查找北京班车租赁企业租车网站的源代码和对比原文的标题部份,可发觉本文没有涉及到作者,所以这儿不用填写,空着即可。

  2.1.3 获取文章来源的采集规则

  在上图19中,可发觉来源的内容介于“来源:“和“”之间,因此这儿应填写“来源:[内容]”作为文章来源的采集规则。同样,这里也不需要使用过滤规则。填写后,如图6所示,

  图6-文章来源的采集规则

  再次回到图17,可找到“时间:2011-05-13 11:47”,因此这儿应把“时间:[内容]”作为发布时间的采集规则。同样,这里也不需要使用过滤规则。填写后,如图7所示,

  图7-文章发布时间的采集规则

  这个部份是编撰采集规则的重点,也是难点。需要非常注意。

  具体操作步骤:

  (a)在在打开的文章内容页面的源代码中,找到文章内容的开始部份“计算机网路知识的学习”,如图8所示,

  图8-文章内容的开始部份

  这里应把””作为匹配规则的开始部份,注意到这段代码中包含一段广告代码,需要采用过滤规则把其清除。经观察发觉,这段JS广告代码是坐落“

  ”和“

  ”之间的。因此,应在“过滤规则”中填写:“{dede:trim replace=’’}

  (.*)

  ”{/dede:trim}。填写后,如(图9)所示,

  图9-开始部份的匹配规则及其过滤规则

  (b)找到文章内容的结束部份,因为涉及到分页部份织梦采集规则中分页,所以应当选定分页结束的位置,如图10所示,

  图10-文章内容的结束部份

  这里应选定“”作为文章内容的结束部份,由于在选定的内容中又包含了一段JS代码,因此应再度使用过滤规则,把其清除。同时,考虑到本页没有涉及到分页,所以在分页代码中的之间是空的。但是,如果页面包含分页的话,也是应当使用过滤规则去掉的。此外,如果所设定的文章内容中,含有图片、链接等不希望被采集到的内容,也应当使用过滤规则一并清除掉。填写完成后,如(图11)所示,

  图11-文章内容的匹配规则

  到这儿,“新增采集节点:第二步设置内容数组获取规则”,就设置完成了。来看一下整个配置页面,如(图12)所示,

  图12-设置后的新增采集节点:第二步设置内容数组获取规则

  检查无误后,单击“保存配置并预览”。如果之前设置正确,单击后,将会步入“新增采集节点:测试内容数组设置”页面并见到相应的文章内容。如(图13)和(图14)所示,

  图13-新增采集节点:测试内容数组设置

  图14-新增采集节点:测试内容数组设置

  其中,图中画圈的地方代表的是分页符号。

  确定正确无误后,如果单击“仅保存”,系统将会提示“成功保存配置“并返回”采集节点管理“界面;如果单击“保存并开始采集“,将会步入”采集指定节点“界面。否则,请单击“返回上一步进行更改”。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线