网页文章自动采集(五、文章网址匹配规则文章的设置和设置)

优采云 发布时间: 2021-08-31 01:11

  网页文章自动采集(五、文章网址匹配规则文章的设置和设置)

  五、文章URL 匹配规则

  文章网址匹配规则的设置非常简单,不需要复杂的设置,提供两种匹配方式。您可以使用 URL 通配符匹配或 CSS 选择器进行匹配。一般来说,URL通配符匹配比较简单。

  1. 使用 URL 通配符匹配

  点击列表网址上的文章,可以发现每个文章网址的结构如下

  所以用通配符(*)替换URL中改变的数字或字母,例如:(*)/(*).shtml

  

  2. 使用 CSS 选择器进行匹配

  使用CSS选择器进行匹配,我们只需要设置文章URL的CSS选择器(不知道CSS选择器是什么,但是一分钟学会设置CSS选择器),通过查看列表URL的源码你可以轻松设置,找到列表URL下具体的文章超链接代码,如下图:

  

  可以看到文章的超链接a标签在类为“contList”的标签内,所以文章 URL的CSS选择器只需要设置为.contList a即可,如下图:

  

  设置完成后,如果不知道设置是否正确,可以点击上图中的测试按钮。如果设置正确,将列出列表URL下的所有文章名称和对应的网址,如下图:

  

  六、文章Grab 设置

  在这个标签下,我们需要设置文章title 和文章content 的匹配规则。提供了两种设置方法。推荐使用CSS选择器方法,更简单,更准确。 (不知道什么是CSS选择器,一分钟学会设置CSS选择器)

  我们只需要设置文章title CSS选择器和文章content CSS选择器就可以准确捕获文章title和文章内容。

  在文章source设置中,我们以采集“新浪网”为例。下面我们就用这个例子来解释一下。您可以通过查看列表 URL 旁边某个文章 的源代码来轻松设置它。例如,我们查看特定文章的源代码如下所示:

  

  如您所见,文章title 位于 id 为“artibodyTitle”的标签内,因此 文章title CSS 选择器只需设置为 #artibodyTitle;

  同理,找到文章content的相关代码:

  

  如你所见,文章content在id为“artibody”的标签内,所以文章内容CSS选择器只需要设置为#artibody;如下图:

  

  设置完成后,如果不知道设置是否正确,可以点击测试按钮,输入测试地址。如果设置正确,会显示文章title和文章内容,方便查看设置

  

  七、Grab文章页面内容

  如果文章的内容太长,有多个页面也可以抓取所有内容。这时候就需要设置文章分页链接的CSS选择器,通过查看具体的文章URL源代码来找到页面链接的位置,比如一个文章page链接的代码如下如下:

  

  如您所见,分页链接A标签位于类为“page-link”的标签内

  所以,文章page link CSS选择器设置为.page-link a,如下图:

  

  如果在发布的时候勾选了Paging,文章的发帖也会被分页。如果您的 WordPress 主题不支持标签,请不要勾选。

  八、文章内容过滤功能

  文章内容过滤功能可以过滤掉正文中不想发布的内容(如广告代码、版权信息等)。可以设置两个关键词,删除两个关键词之间的内容。 关键词2 可以为空,表示关键词1 之后的内容全部删除。

  如下图,我们通过测试抓取文章后,发现文章中有我们不想发布的内容,切换到HTML显示,找到该内容的HTML代码,设置两个关键词分别过滤掉内容。

  

  

  如果需要过滤掉多个内容,可以添加多组设置。

  九、HTML 标签过滤功能

  HTML标签过滤功能可以过滤掉采集文章中的超链接(如标签)。

  以上就是wordpress自动采集插件如何使用的详细内容。更多详情请关注php中文网其他相关文章!

  

  免责声明:本文原创发布php中文网,转载请注明出处,谢谢尊重!如果您有任何问题,请联系我们

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线