文章采集规则(Phpcmsv9默认内置文章、图片、下载3个内容模型 )
优采云 发布时间: 2022-02-05 07:25文章采集规则(Phpcmsv9默认内置文章、图片、下载3个内容模型
)
phpcms v9默认内置了文章、图片、下载三种内容模型。我们先来看看最常见的文章采集。以采集新浪互联网频道、国内滚动新闻栏目为例
1、进入后台,内容-内容发布管理-采集管理-添加采集积分。(与以前版本的 Phpcms 不同,采集 在模块菜单中管理)
2、网址规则。采集项目名称随便填,采集页面代码默认为GBK。您可以查看特定 采集 页面的页面源代码。
URL采集没有大的特点,通过查看想要的采集页面的URL规则来填写。分析目标页面的结果是一个序列URL,要获取的内容的URL在两个标签之间。没有其他干扰链接,因此无需定义哪些字符必须收录在 URL 中,哪些字符不能收录在 URL 中。如果目标 网站 配置了 Base,那么也配置它。
URL采集的配置已经完成,但是如果目标网站列表页面使用js实现上下页,或者要获取的URL深度超过2级,就会使用内置的 采集 很难实现这一点。
3、内容规则。phpcms就是使用“[content]”作为通配符,然后设置开始和结束字符,然后过滤掉不必要的代码,实现内容采集。分析目标页面的title标签比较规整,可以直接如图设置。
过滤格式为“要过滤的内容[|]替换值”,如果删除,替换值留空。过滤规则支持正则表达式。系统自带几个常用的标签过滤规则。新手要更灵活的过滤有点困难,所以新手需要先熟悉正则表达式。
根据规则获取作者规则、来源规则、时间规则。小编试了个固定值,发现无法实现,就是给某个标签设置一个固定值,比如设置“source”为,但是采集result source标签为空。
内容规则,填写开始和结束标签,我们测试的目标页面比较干净,所以只过滤掉里面的超链接和一些无用的标签。
内容分页规则,如果内容页有分页,必须填写。这里的文章没有分页。小编会在下图采集中介绍这个标签。
4、自定义规则,除了系统默认的标签外,还可以自定义各种标签,规则都是一样的,但是有一点需要注意:规则的英文名称一定要填写,否则无法保存自定义标签。
5、高级配置,这次可以设置下载图片、图片水印、内容分页和导入顺序。注意如果需要水印记得修改你的网站的水印图片,水印存放路径:statics/images/water
6、规则设置好后,提交回采集管理首页。您可以先测试一下每个标签是否准确。
7、发布内容。如果无误,先点击采集网址,会自动采集文章地址,过滤重复网址。然后会弹出采集URL完成的消息,点击里面的“采集文章Content”
采集自动显示采集进度。
采集完成后会自动返回采集管理首页,点击内容发布,进入采集文章列表,勾选文章为发布,或者直接点击底部的全部导入。
进入发布方案选择界面,新建发布方案,选择发布栏目。在此测试中,选择了 文章 模块的“国内”列。在方案新页面,可以设置自动提取摘要、自动提取缩略图、导入文章@文章状态、标签和数据库对应关系。其中,import 文章状态只有一个“release”。如果站长需要状态为待审核,则必须先将相应栏目的工作流程修改为一级审核。
在标签与数据库的对应关系中,采集标签与数据库字段一一对应。如果有自定义标签,找不到对应的字段,需要先修改模型添加字段,再修改模板显示,技术要求高。,不适合初学者。此外,系统自带多项处理功能,也相当实用。
发布方案设置好后会自动开始导入选中的文章,下次导入不需要创建方案,选择已经建好的方案即可。