新浪互联网新闻为例,文章列表网址匹配规则的设置
优采云 发布时间: 2021-08-26 18:05新浪互联网新闻为例,文章列表网址匹配规则的设置
以采集“新浪网”为例,文章列表网址是,所以在手动指定文章列表网址中输入网址,如下图:
之后需要在文章List URL下设置特定文章 URL的匹配规则
五、文章URL 匹配规则
文章网址匹配规则的设置非常简单,不需要复杂的设置,提供两种匹配方式。您可以使用 URL 通配符匹配或 CSS 选择器进行匹配。一般来说,URL通配符匹配比较简单。
1. 使用 URL 通配符匹配
点击列表网址上的文章,可以发现每个文章网址的结构如下
所以用通配符(*)替换URL中改变的数字或字母,例如:(*)/(*).shtml
2. 使用 CSS 选择器进行匹配
使用CSS选择器进行匹配,我们只需要设置文章URL的CSS选择器(不知道CSS选择器是什么,但是一分钟学会设置CSS选择器),通过查看列表URL的源码你可以轻松设置,找到列表URL下具体的文章超链接代码,如下图:
可以看到文章的超链接a标签在类为“contList”的标签内,所以文章 URL的CSS选择器只需要设置为.contList a即可,如下图:
设置完成后,如果不知道设置是否正确,可以点击上图中的测试按钮。如果设置正确,将列出列表URL下的所有文章名称和对应的网址,如下图:
六、文章Grab 设置
在这个标签下,我们需要设置文章title 和文章content 的匹配规则。提供了两种设置方法。推荐使用CSS选择器方法,更简单,更准确。 (不知道什么是CSS选择器,一分钟学会设置CSS选择器)
我们只需要设置文章title CSS选择器和文章content CSS选择器就可以准确捕获文章title和文章内容。
在文章source设置中,我们以采集“新浪网”为例。下面我们就用这个例子来解释一下。您可以通过查看列表 URL 旁边某个文章 的源代码来轻松设置它。例如,我们查看特定文章的源代码如下所示:
如您所见,文章title 位于 id 为“artibodyTitle”的标签内,因此 文章title CSS 选择器只需设置为 #artibodyTitle;
同理,找到文章content的相关代码:
如你所见,文章content在id为“artibody”的标签内,所以文章内容CSS选择器只需要设置为#artibody;如下图:
设置完成后,如果不知道设置是否正确,可以点击测试按钮,输入测试地址。如果设置正确,会显示文章title和文章内容,方便查看设置
七、Grab文章页面内容
如果文章的内容太长,有多个页面也可以抓取所有内容。这时候就需要设置文章分页链接的CSS选择器,通过查看具体的文章URL源代码来找到页面链接的位置,比如一个文章page链接的代码如下如下:
如您所见,分页链接A标签位于类为“page-link”的标签内
因此文章page链接CSS选择器可以设置为.page-link a,如下图:
如果在发布的时候勾选了Paging,文章的发帖也会被分页。如果您的 WordPress 主题不支持标签,请不要勾选。
八、文章内容过滤功能
文章内容过滤功能可以过滤掉正文中不想发布的内容(如广告代码、版权信息等)。可以设置两个关键词,删除两个关键词之间的内容。 关键词2 可以为空,表示关键词1 之后的内容全部删除。
如下图,我们通过测试抓取文章后,发现文章中有我们不想发布的内容,切换到HTML显示,找到该内容的HTML代码,设置两个关键词分别过滤掉内容。
如上图,如果我们要过滤掉上面的
和
在两者之间,添加以下设置。
如果需要过滤掉多个内容,可以添加多组设置。
九、HTML 标签过滤功能
HTML标签过滤功能可以过滤掉采集文章中的超链接(一个标签),