自动采集发布文章(在该选项卡下我们需要设置文章来源的文章列表及具体文章的匹配规则)
优采云 发布时间: 2022-02-15 23:14自动采集发布文章(在该选项卡下我们需要设置文章来源的文章列表及具体文章的匹配规则)
在这个选项卡下,我们需要设置文章的来源的文章列表URL和具体文章的匹配规则。我们以采集“新浪网讯”为例,文章List URL就是在手动指定的文章List URL中输入URL,如下图:
之后,您需要为 文章list URLs 下的特定 文章 URLs 设置匹配规则
五、文章网址匹配规则
文章URL匹配规则的设置很简单,不需要复杂的设置,提供了两种匹配方式。您可以使用 URL 通配符匹配或 CSS 选择器进行匹配。通常,URL 通配符匹配比较简单。
1.使用 URL 通配符匹配
通过点击列表URL上的文章,我们可以发现每个文章的URL都有如下结构
因此,可以用通配符 () 代替 URL 中改变的数字或字母,如:()/(*).shtml
2.使用 CSS 选择器进行匹配
使用 CSS 选择器进行匹配,我们只需要设置 文章 URL 的 CSS 选择器(不知道 CSS 选择器是什么,一分钟了解如何设置 CSS 选择器),通过查看源代码列表 URL,即很容易设置为在该列表 URL 下找到特定 文章 超链接的代码,如下所示:
如图以下:
设置完成后,如果不知道设置是否正确,可以点击上图中的测试按钮。如果设置正确,将列出列表URL下的所有文章名称和对应的网页地址,如下图:
六、文章获取设置
在这个选项卡下,我们需要设置文章标题和文章内容的匹配规则。有两种设置方法。推荐使用 CSS 选择器方式,更简单更准确。(不知道 CSS 选择器是什么,一分钟了解如何设置 CSS 选择器)
我们只需要设置 文章 标题 CSS 选择器和 文章 内容 CSS 选择器来准确抓取 文章 标题和 文章 内容。
在文章的源码设置中,我们以采集“新浪网讯”为例,这里举例说明,查看列表URL下一个文章的源码即可简单的设置,例如,通过查看特定 文章 的源代码如下:
如您所见,文章 标题在 id 为“artibodyTitle”的标签内,因此 文章 标题 CSS 选择器只需设置为 #artibodyTitle;
同理,找到文章内容的相关代码:
如您所见,文章 内容位于 id 为“artibody”的标签内,因此只需将 文章 内容 CSS 选择器设置为 #artibody;像这样:
设置完成后,如果不知道设置是否正确,可以点击测试按钮,输入测试地址。如果设置正确,会显示标题和文章内容,方便检查设置。
七、获取 文章 分页内容
如果 文章 的内容太长,有多个页面也可以抓取所有内容。这种情况下,需要设置文章页面链接的CSS选择器,通过查看具体的文章 URL源码找到页面。链接,例如一个文章分页链接代码如下:
如您所见,页面链接 A 标记位于“page-link”类的标记内。因此,文章页面链接CSS选择器可以设置为.page-link a,如下图:
如果在发帖时勾选分页,发帖文章也会被分页。如果您的 WordPress 主题不支持标签,请不要勾选。
八、文章内容过滤
文章内容过滤功能,可以过滤掉文本中不需要的内容(如广告代码、版权信息等),可以设置两个关键词,删除两个关键词之间关键词 2 的内容可以为空,即删除关键词 1 之后的所有内容。
如下图,我们通过测试爬取文章后,发现文章中有我们不想发布的内容,切换到HTML显示,找到该内容的HTML代码,设置两个 关键词 以过滤掉该内容。
如上图,如果我们要过滤掉上面和中间的内容,添加如下设置
如果您需要过滤掉多个内容,您可以添加多组设置。
九、HTML标签过滤功能
HTML标签过滤功能可以过滤掉采集文章中的超链接(a标签),以及标签下不需要的代码。这里有一些例子:
文章 2022 年 2 月 1 日
iONcloud:美国洛杉矶专用服务器,E3/16G/1T SSD,月流量5T,$8起6.95/月
iONcloud怎么样,iONcloud是krypt旗下的云服务器品牌。目前正在积极扩建机房,比如上个月新开的达拉斯机房,以及华盛顿、纽约的火热筹备,夏季...
山上鸭哥2022-02-01服务器阅读(89)
Bricklayer:KiwiVM 控制面板的新功能,您可以登录 KiwiVM 以同时管理多个 VPS
瓦工的KiwiVM控制面板终于支持同时登录多个VPS后台了。这个功能其实早就推出了。那时,我并没有意识到这个功能有多大用处。我今天重新登录,看到...
山上鸭哥 2022-02-01 VPS 阅读(148)
spinservers怎么样,spinservers是美国物理机提供商,目前在San Jose和Dallas机房提供独立的服务器包,线路方面,San Jose有亚洲优化线路,Dallas是一般...
山上鸭哥2022-02-01服务器阅读(154)
交友怎么样?Friendhosting 是一家保加利亚的托管公司。业务成立多年,跑路的概率比较小。它主要销售VPS和虚拟主机。
山上鸭哥 2022-02-01 VPS阅读(61)
文章 2022 年 2 月 4 日
Pia Cloud:2022春节促销,6.64折,*敏*感*词*cn2/美国cn2,月付13元起,香港cn2/深圳bgp,月付16元起
Pia Cloud怎么样,Pia Cloud,商家的云服务器,已经介绍过很多次了!价格真的很便宜,性价比很高!我们可以看到云服务器的最低月供低至20元。服务器全部采用KVM虚拟架构,机器...
山上鸭哥2022-02-04 VPS阅读(83)
RAKsmart:流行云服务器年费79元起,香港/日本/洛杉矶/圣荷西机房
RAKsmart 怎么样,网站管理员经常分享有关 RAKsmart 的信息。近年来,商家从单一的独立服务器产品扩展到云服务器、VPS、裸机云等,独立服务器也进行了细化和增加功能……
山上鸭哥2022-02-04服务器阅读(78)
腾讯云:2022年春节优惠,1核2G5M轻量级云服务器,74元/年,2C/4G/80G SSD/8M带宽/1.2T流量,222元/3年
腾讯云怎么样,2022年春节优惠和之前腾讯云秒杀差别不大,配置还是一样,最便宜的轻量级云服务器38元/年,222元/3年(2C/4G /80G) ...
山上鸭哥 2022-02-04 VPS 阅读(86)
RAKsmart:全站点裸机云/云服务器/VPS 可享受 30% 的折扣,有限数量的专用服务器每月 30 美元起
RAKsmart 怎么样,正好赶上农历新年,RAKsmart 也发布了 2 月份的促销活动,裸机云、云服务器、VPS 托管 30% 折扣,新用户注册 10 美元,每日限时专用服务器...
山上鸭哥2022-02-04服务器阅读(74)