采集 文章(采集某一个指定页面的文章包括（标题、图片、描述、内容）)

　　采集 文章(采集某一个指定页面的文章包括（标题、图片、描述、内容）)

　　2022-01-17

　　任务：

　　采集指定页面的文章包括（标题、图片、描述、内容）导入到自己的网站数据库对应列（列id为57），数据库字段分别是（标题、拇指、描述、内容）。

　　页面第一张图片作为文章缩略图，这里获取缩略图名称并将对应的网站路径添加到数据库缩略图字段中，另一张下载到本地并上传到指定文件统一文件夹，（当然软件可以直接ftp，不过还没做，后面会加）

　　1、新组--新任务

　　2、添加 URL + 编辑获取 URL 的规则

　　选择ul中li中的链接，注意排除重复地址，可以点击下方测试URL采集获取。

　　您可以看到 文章 链接到 采集。

　　3、采集内容规则

　　我需要采集来显示下图中的数据（catid是列id，可以把采集中的数据放到对应列中，设置一个固定值即可）

　　关注内容和图片的采集，标题和描述同内容采集

　　内容采集：

　　打开一个采集的文章页面，查看源码（如果禁用了右键f11或者在URL前面加了view-source:可以查看）：

　　选择文章开头的一个位置，在ctrl+f下截取一个section，搜索是否是唯一的section。如果是的话，可以放在下图1所示的位置，结尾和开头一样。

　　我不想截取内容，不想在里面有链接图片进行数据处理，添加--html标签排除--选择确定--确定

　　还有一个需要下载页面图片，勾选并填写以下选项

　　图片 采集：

　　（1）选中范围与内容一致（文章中的图片）

　　(2）从数据处理选项中提取的第一张图片的内容为：

　　(3）只要aa.jpg，常规过滤，获取内容：aa.jpg

　　(4）数据库存储有前缀，添加，上传/xxxxx/

　　找个页面测试一下，可以看到获取到了对应的item。

　　4、发布内容设置，这里以模式3发布到数据库为例，编辑好后返回查看新定义的模块：

　　5、我需要将图片保存到本地，需要设置保存文件的路径（ftp稍后会尝试使用）。

　　6、保存，查看新创建的任务，右键启动任务，这里可以看到文字和图片已经下载完毕，在数据库中也可以看到。

　　分类：

　　技术要点：

　　相关文章：