
定时
如何配置手动采集、自动更新网站数据
采集交流 • 优采云 发表了文章 • 0 个评论 • 617 次浏览 • 2020-08-03 16:01
优采云采集平台通过设置 “定时采集” + “重复数据跳过” + “自动发布” 功能可实现同步更新数据,即定时检查采集源网站是否有内容更新,采集并发布新内容。
定时采集功能详情:定时采集配置;
自动发布功能详情:采集后手动发布配置;
基本流程: 1. 采集已有的全部数据
先设置采集已有的全部列表页中的数据;(下面以 “大众养身-饮食” 模板为例,假设共100页)
2. 采集更新数据
待已有的全部数据采集完成后,现只需定时采集更新的内容,用户通常会在 “启动 | 定时采集“ 处设置重复数据跳过来实现。
上述操作可行,但有个方法可急剧增强同步更新采集效率:
判断是否重复数据,系统是遍历配置采集的列表页中的文章与已采集入库的文章中有无相同标题,如果数据量多会影响采集速度。
用户可通过观察采集源网站的内容更新频度和数目网站自动采集系统,估算新内容会显示在列表页的前几页,并在 “采集起始网址” 处设置只采集前几页的内容,减少系统遍历列表页页数来提升采集效率。
如下例网站新内容12小时更新一次,且通常显示在列表页的前两页,则可配置只采集前两页列表的文章。
(如果没有这一步网站自动采集系统,按原先的设置,系统要遍历100页列表页判定是否有重复数据,现只需遍历2页列表页)
查看全部
定时采集功能详情:定时采集配置;
自动发布功能详情:采集后手动发布配置;
基本流程: 1. 采集已有的全部数据
先设置采集已有的全部列表页中的数据;(下面以 “大众养身-饮食” 模板为例,假设共100页)
2. 采集更新数据
待已有的全部数据采集完成后,现只需定时采集更新的内容,用户通常会在 “启动 | 定时采集“ 处设置重复数据跳过来实现。
上述操作可行,但有个方法可急剧增强同步更新采集效率:
判断是否重复数据,系统是遍历配置采集的列表页中的文章与已采集入库的文章中有无相同标题,如果数据量多会影响采集速度。
用户可通过观察采集源网站的内容更新频度和数目网站自动采集系统,估算新内容会显示在列表页的前几页,并在 “采集起始网址” 处设置只采集前几页的内容,减少系统遍历列表页页数来提升采集效率。
如下例网站新内容12小时更新一次,且通常显示在列表页的前两页,则可配置只采集前两页列表的文章。
(如果没有这一步网站自动采集系统,按原先的设置,系统要遍历100页列表页判定是否有重复数据,现只需遍历2页列表页)
查看全部
优采云采集平台通过设置 “定时采集” + “重复数据跳过” + “自动发布” 功能可实现同步更新数据,即定时检查采集源网站是否有内容更新,采集并发布新内容。
定时采集功能详情:定时采集配置;
自动发布功能详情:采集后手动发布配置;
基本流程: 1. 采集已有的全部数据
先设置采集已有的全部列表页中的数据;(下面以 “大众养身-饮食” 模板为例,假设共100页)



2. 采集更新数据
待已有的全部数据采集完成后,现只需定时采集更新的内容,用户通常会在 “启动 | 定时采集“ 处设置重复数据跳过来实现。
上述操作可行,但有个方法可急剧增强同步更新采集效率:
判断是否重复数据,系统是遍历配置采集的列表页中的文章与已采集入库的文章中有无相同标题,如果数据量多会影响采集速度。
用户可通过观察采集源网站的内容更新频度和数目网站自动采集系统,估算新内容会显示在列表页的前几页,并在 “采集起始网址” 处设置只采集前几页的内容,减少系统遍历列表页页数来提升采集效率。
如下例网站新内容12小时更新一次,且通常显示在列表页的前两页,则可配置只采集前两页列表的文章。
(如果没有这一步网站自动采集系统,按原先的设置,系统要遍历100页列表页判定是否有重复数据,现只需遍历2页列表页)




Mac苹果cmsV8_V10手动定时采集任务教程
采集交流 • 优采云 发表了文章 • 0 个评论 • 545 次浏览 • 2020-07-24 08:05
这里总会有你想要的:
这里先打算好早已搭建好的环境:
Maccms V10
准备好的采集接口
一、先领到参数链接
采集--自定义采集库--采集当天--右键--复制链接--拷贝到一个txt文本里
去掉第一个问号(?)前面的部份,保留m开始到结束的部份。
如图中黄色框内部分:
二、添加定时任务
系统--定时任务--添加--启用--名称:字母随机--执行文件不用动--附加参数:粘贴前面得到的链接--全选--保存
如图:
三、获取采集链接
上一步保存后,点击测试按键
下图则说明设置任务成功。
复制测试的url链接
四、完成手动采集
1.有服务器的小可爱们可以使用宝塔面板里的计划任务
首页--计划任务--任务类型:访问URL--执行周期:每小时--URL地址:测试的URL网址
如图:
2.没有主机、VPS的小可爱可以使用360的 网站监控。这个是免费的哦
3.另外没有主机、VPS的小甜美也可以这样做哦
找到MacCMS的模板上面的顶部模板文件,一般都是food.html。
在顶部模板里加上这段代码:
<script src="/inc/timming.php?t=0.123456789"></scrip>
模版--模板管理--Default_pc(模板文件目录,结合自己网站目录选择)--HTML--pudlic--foot.html--编辑
这样子,只有人访问网站。就会手动去采集每天更新的内容。已经采集入库了的资源会手动跳过maccms自动采集文章,不用考虑采集重复的问题。
检测方式:删除全部视频数据或明天更新的视频数据。然后自己访问一下网站主页或其他页面,再刷新页面是否有视频更新或则回到后台查看后台视频数据。
五、maccmsv10定时采集任务成功。V8步骤和V10相像maccms自动采集文章,但是v8却失败了。
执行文件:collect.php
执行参数:不是第一个问号开始截断的,而是从第一个等于 ?m= 开始截断
然而测试时 页面显示:Access Denied
这我也是蒙圈的,不知道如何处理。小可爱可以留言告知一下哦
跟多网路技术文章去 查看全部
这里先打算好早已搭建好的环境:
Maccms V10
准备好的采集接口
一、先领到参数链接
采集--自定义采集库--采集当天--右键--复制链接--拷贝到一个txt文本里
去掉第一个问号(?)前面的部份,保留m开始到结束的部份。
如图中黄色框内部分:
二、添加定时任务
系统--定时任务--添加--启用--名称:字母随机--执行文件不用动--附加参数:粘贴前面得到的链接--全选--保存
如图:
三、获取采集链接
上一步保存后,点击测试按键
下图则说明设置任务成功。
复制测试的url链接
四、完成手动采集
1.有服务器的小可爱们可以使用宝塔面板里的计划任务
首页--计划任务--任务类型:访问URL--执行周期:每小时--URL地址:测试的URL网址
如图:
2.没有主机、VPS的小可爱可以使用360的 网站监控。这个是免费的哦
3.另外没有主机、VPS的小甜美也可以这样做哦
找到MacCMS的模板上面的顶部模板文件,一般都是food.html。
在顶部模板里加上这段代码:
<script src="/inc/timming.php?t=0.123456789"></scrip>
模版--模板管理--Default_pc(模板文件目录,结合自己网站目录选择)--HTML--pudlic--foot.html--编辑
这样子,只有人访问网站。就会手动去采集每天更新的内容。已经采集入库了的资源会手动跳过maccms自动采集文章,不用考虑采集重复的问题。
检测方式:删除全部视频数据或明天更新的视频数据。然后自己访问一下网站主页或其他页面,再刷新页面是否有视频更新或则回到后台查看后台视频数据。
五、maccmsv10定时采集任务成功。V8步骤和V10相像maccms自动采集文章,但是v8却失败了。
执行文件:collect.php
执行参数:不是第一个问号开始截断的,而是从第一个等于 ?m= 开始截断
然而测试时 页面显示:Access Denied
这我也是蒙圈的,不知道如何处理。小可爱可以留言告知一下哦
跟多网路技术文章去 查看全部
这里总会有你想要的:
这里先打算好早已搭建好的环境:
Maccms V10
准备好的采集接口
一、先领到参数链接
采集--自定义采集库--采集当天--右键--复制链接--拷贝到一个txt文本里

去掉第一个问号(?)前面的部份,保留m开始到结束的部份。
如图中黄色框内部分:

二、添加定时任务
系统--定时任务--添加--启用--名称:字母随机--执行文件不用动--附加参数:粘贴前面得到的链接--全选--保存
如图:


三、获取采集链接
上一步保存后,点击测试按键

下图则说明设置任务成功。
复制测试的url链接

四、完成手动采集
1.有服务器的小可爱们可以使用宝塔面板里的计划任务
首页--计划任务--任务类型:访问URL--执行周期:每小时--URL地址:测试的URL网址
如图:

2.没有主机、VPS的小可爱可以使用360的 网站监控。这个是免费的哦
3.另外没有主机、VPS的小甜美也可以这样做哦
找到MacCMS的模板上面的顶部模板文件,一般都是food.html。
在顶部模板里加上这段代码:
<script src="/inc/timming.php?t=0.123456789"></scrip>
模版--模板管理--Default_pc(模板文件目录,结合自己网站目录选择)--HTML--pudlic--foot.html--编辑

这样子,只有人访问网站。就会手动去采集每天更新的内容。已经采集入库了的资源会手动跳过maccms自动采集文章,不用考虑采集重复的问题。
检测方式:删除全部视频数据或明天更新的视频数据。然后自己访问一下网站主页或其他页面,再刷新页面是否有视频更新或则回到后台查看后台视频数据。
五、maccmsv10定时采集任务成功。V8步骤和V10相像maccms自动采集文章,但是v8却失败了。
执行文件:collect.php
执行参数:不是第一个问号开始截断的,而是从第一个等于 ?m= 开始截断
然而测试时 页面显示:Access Denied
这我也是蒙圈的,不知道如何处理。小可爱可以留言告知一下哦
跟多网路技术文章去
这里先打算好早已搭建好的环境:
Maccms V10
准备好的采集接口
一、先领到参数链接
采集--自定义采集库--采集当天--右键--复制链接--拷贝到一个txt文本里

去掉第一个问号(?)前面的部份,保留m开始到结束的部份。
如图中黄色框内部分:

二、添加定时任务
系统--定时任务--添加--启用--名称:字母随机--执行文件不用动--附加参数:粘贴前面得到的链接--全选--保存
如图:


三、获取采集链接
上一步保存后,点击测试按键

下图则说明设置任务成功。
复制测试的url链接

四、完成手动采集
1.有服务器的小可爱们可以使用宝塔面板里的计划任务
首页--计划任务--任务类型:访问URL--执行周期:每小时--URL地址:测试的URL网址
如图:

2.没有主机、VPS的小可爱可以使用360的 网站监控。这个是免费的哦
3.另外没有主机、VPS的小甜美也可以这样做哦
找到MacCMS的模板上面的顶部模板文件,一般都是food.html。
在顶部模板里加上这段代码:
<script src="/inc/timming.php?t=0.123456789"></scrip>
模版--模板管理--Default_pc(模板文件目录,结合自己网站目录选择)--HTML--pudlic--foot.html--编辑

这样子,只有人访问网站。就会手动去采集每天更新的内容。已经采集入库了的资源会手动跳过maccms自动采集文章,不用考虑采集重复的问题。
检测方式:删除全部视频数据或明天更新的视频数据。然后自己访问一下网站主页或其他页面,再刷新页面是否有视频更新或则回到后台查看后台视频数据。
五、maccmsv10定时采集任务成功。V8步骤和V10相像maccms自动采集文章,但是v8却失败了。
执行文件:collect.php
执行参数:不是第一个问号开始截断的,而是从第一个等于 ?m= 开始截断
然而测试时 页面显示:Access Denied
这我也是蒙圈的,不知道如何处理。小可爱可以留言告知一下哦
跟多网路技术文章去
如何配置手动采集、自动更新网站数据
采集交流 • 优采云 发表了文章 • 0 个评论 • 617 次浏览 • 2020-08-03 16:01
优采云采集平台通过设置 “定时采集” + “重复数据跳过” + “自动发布” 功能可实现同步更新数据,即定时检查采集源网站是否有内容更新,采集并发布新内容。
定时采集功能详情:定时采集配置;
自动发布功能详情:采集后手动发布配置;
基本流程: 1. 采集已有的全部数据
先设置采集已有的全部列表页中的数据;(下面以 “大众养身-饮食” 模板为例,假设共100页)
2. 采集更新数据
待已有的全部数据采集完成后,现只需定时采集更新的内容,用户通常会在 “启动 | 定时采集“ 处设置重复数据跳过来实现。
上述操作可行,但有个方法可急剧增强同步更新采集效率:
判断是否重复数据,系统是遍历配置采集的列表页中的文章与已采集入库的文章中有无相同标题,如果数据量多会影响采集速度。
用户可通过观察采集源网站的内容更新频度和数目网站自动采集系统,估算新内容会显示在列表页的前几页,并在 “采集起始网址” 处设置只采集前几页的内容,减少系统遍历列表页页数来提升采集效率。
如下例网站新内容12小时更新一次,且通常显示在列表页的前两页,则可配置只采集前两页列表的文章。
(如果没有这一步网站自动采集系统,按原先的设置,系统要遍历100页列表页判定是否有重复数据,现只需遍历2页列表页)
查看全部
定时采集功能详情:定时采集配置;
自动发布功能详情:采集后手动发布配置;
基本流程: 1. 采集已有的全部数据
先设置采集已有的全部列表页中的数据;(下面以 “大众养身-饮食” 模板为例,假设共100页)
2. 采集更新数据
待已有的全部数据采集完成后,现只需定时采集更新的内容,用户通常会在 “启动 | 定时采集“ 处设置重复数据跳过来实现。
上述操作可行,但有个方法可急剧增强同步更新采集效率:
判断是否重复数据,系统是遍历配置采集的列表页中的文章与已采集入库的文章中有无相同标题,如果数据量多会影响采集速度。
用户可通过观察采集源网站的内容更新频度和数目网站自动采集系统,估算新内容会显示在列表页的前几页,并在 “采集起始网址” 处设置只采集前几页的内容,减少系统遍历列表页页数来提升采集效率。
如下例网站新内容12小时更新一次,且通常显示在列表页的前两页,则可配置只采集前两页列表的文章。
(如果没有这一步网站自动采集系统,按原先的设置,系统要遍历100页列表页判定是否有重复数据,现只需遍历2页列表页)
查看全部
优采云采集平台通过设置 “定时采集” + “重复数据跳过” + “自动发布” 功能可实现同步更新数据,即定时检查采集源网站是否有内容更新,采集并发布新内容。
定时采集功能详情:定时采集配置;
自动发布功能详情:采集后手动发布配置;
基本流程: 1. 采集已有的全部数据
先设置采集已有的全部列表页中的数据;(下面以 “大众养身-饮食” 模板为例,假设共100页)



2. 采集更新数据
待已有的全部数据采集完成后,现只需定时采集更新的内容,用户通常会在 “启动 | 定时采集“ 处设置重复数据跳过来实现。
上述操作可行,但有个方法可急剧增强同步更新采集效率:
判断是否重复数据,系统是遍历配置采集的列表页中的文章与已采集入库的文章中有无相同标题,如果数据量多会影响采集速度。
用户可通过观察采集源网站的内容更新频度和数目网站自动采集系统,估算新内容会显示在列表页的前几页,并在 “采集起始网址” 处设置只采集前几页的内容,减少系统遍历列表页页数来提升采集效率。
如下例网站新内容12小时更新一次,且通常显示在列表页的前两页,则可配置只采集前两页列表的文章。
(如果没有这一步网站自动采集系统,按原先的设置,系统要遍历100页列表页判定是否有重复数据,现只需遍历2页列表页)




Mac苹果cmsV8_V10手动定时采集任务教程
采集交流 • 优采云 发表了文章 • 0 个评论 • 545 次浏览 • 2020-07-24 08:05
这里总会有你想要的:
这里先打算好早已搭建好的环境:
Maccms V10
准备好的采集接口
一、先领到参数链接
采集--自定义采集库--采集当天--右键--复制链接--拷贝到一个txt文本里
去掉第一个问号(?)前面的部份,保留m开始到结束的部份。
如图中黄色框内部分:
二、添加定时任务
系统--定时任务--添加--启用--名称:字母随机--执行文件不用动--附加参数:粘贴前面得到的链接--全选--保存
如图:
三、获取采集链接
上一步保存后,点击测试按键
下图则说明设置任务成功。
复制测试的url链接
四、完成手动采集
1.有服务器的小可爱们可以使用宝塔面板里的计划任务
首页--计划任务--任务类型:访问URL--执行周期:每小时--URL地址:测试的URL网址
如图:
2.没有主机、VPS的小可爱可以使用360的 网站监控。这个是免费的哦
3.另外没有主机、VPS的小甜美也可以这样做哦
找到MacCMS的模板上面的顶部模板文件,一般都是food.html。
在顶部模板里加上这段代码:
<script src="/inc/timming.php?t=0.123456789"></scrip>
模版--模板管理--Default_pc(模板文件目录,结合自己网站目录选择)--HTML--pudlic--foot.html--编辑
这样子,只有人访问网站。就会手动去采集每天更新的内容。已经采集入库了的资源会手动跳过maccms自动采集文章,不用考虑采集重复的问题。
检测方式:删除全部视频数据或明天更新的视频数据。然后自己访问一下网站主页或其他页面,再刷新页面是否有视频更新或则回到后台查看后台视频数据。
五、maccmsv10定时采集任务成功。V8步骤和V10相像maccms自动采集文章,但是v8却失败了。
执行文件:collect.php
执行参数:不是第一个问号开始截断的,而是从第一个等于 ?m= 开始截断
然而测试时 页面显示:Access Denied
这我也是蒙圈的,不知道如何处理。小可爱可以留言告知一下哦
跟多网路技术文章去 查看全部
这里先打算好早已搭建好的环境:
Maccms V10
准备好的采集接口
一、先领到参数链接
采集--自定义采集库--采集当天--右键--复制链接--拷贝到一个txt文本里
去掉第一个问号(?)前面的部份,保留m开始到结束的部份。
如图中黄色框内部分:
二、添加定时任务
系统--定时任务--添加--启用--名称:字母随机--执行文件不用动--附加参数:粘贴前面得到的链接--全选--保存
如图:
三、获取采集链接
上一步保存后,点击测试按键
下图则说明设置任务成功。
复制测试的url链接
四、完成手动采集
1.有服务器的小可爱们可以使用宝塔面板里的计划任务
首页--计划任务--任务类型:访问URL--执行周期:每小时--URL地址:测试的URL网址
如图:
2.没有主机、VPS的小可爱可以使用360的 网站监控。这个是免费的哦
3.另外没有主机、VPS的小甜美也可以这样做哦
找到MacCMS的模板上面的顶部模板文件,一般都是food.html。
在顶部模板里加上这段代码:
<script src="/inc/timming.php?t=0.123456789"></scrip>
模版--模板管理--Default_pc(模板文件目录,结合自己网站目录选择)--HTML--pudlic--foot.html--编辑
这样子,只有人访问网站。就会手动去采集每天更新的内容。已经采集入库了的资源会手动跳过maccms自动采集文章,不用考虑采集重复的问题。
检测方式:删除全部视频数据或明天更新的视频数据。然后自己访问一下网站主页或其他页面,再刷新页面是否有视频更新或则回到后台查看后台视频数据。
五、maccmsv10定时采集任务成功。V8步骤和V10相像maccms自动采集文章,但是v8却失败了。
执行文件:collect.php
执行参数:不是第一个问号开始截断的,而是从第一个等于 ?m= 开始截断
然而测试时 页面显示:Access Denied
这我也是蒙圈的,不知道如何处理。小可爱可以留言告知一下哦
跟多网路技术文章去 查看全部
这里总会有你想要的:
这里先打算好早已搭建好的环境:
Maccms V10
准备好的采集接口
一、先领到参数链接
采集--自定义采集库--采集当天--右键--复制链接--拷贝到一个txt文本里

去掉第一个问号(?)前面的部份,保留m开始到结束的部份。
如图中黄色框内部分:

二、添加定时任务
系统--定时任务--添加--启用--名称:字母随机--执行文件不用动--附加参数:粘贴前面得到的链接--全选--保存
如图:


三、获取采集链接
上一步保存后,点击测试按键

下图则说明设置任务成功。
复制测试的url链接

四、完成手动采集
1.有服务器的小可爱们可以使用宝塔面板里的计划任务
首页--计划任务--任务类型:访问URL--执行周期:每小时--URL地址:测试的URL网址
如图:

2.没有主机、VPS的小可爱可以使用360的 网站监控。这个是免费的哦
3.另外没有主机、VPS的小甜美也可以这样做哦
找到MacCMS的模板上面的顶部模板文件,一般都是food.html。
在顶部模板里加上这段代码:
<script src="/inc/timming.php?t=0.123456789"></scrip>
模版--模板管理--Default_pc(模板文件目录,结合自己网站目录选择)--HTML--pudlic--foot.html--编辑

这样子,只有人访问网站。就会手动去采集每天更新的内容。已经采集入库了的资源会手动跳过maccms自动采集文章,不用考虑采集重复的问题。
检测方式:删除全部视频数据或明天更新的视频数据。然后自己访问一下网站主页或其他页面,再刷新页面是否有视频更新或则回到后台查看后台视频数据。
五、maccmsv10定时采集任务成功。V8步骤和V10相像maccms自动采集文章,但是v8却失败了。
执行文件:collect.php
执行参数:不是第一个问号开始截断的,而是从第一个等于 ?m= 开始截断
然而测试时 页面显示:Access Denied
这我也是蒙圈的,不知道如何处理。小可爱可以留言告知一下哦
跟多网路技术文章去
这里先打算好早已搭建好的环境:
Maccms V10
准备好的采集接口
一、先领到参数链接
采集--自定义采集库--采集当天--右键--复制链接--拷贝到一个txt文本里

去掉第一个问号(?)前面的部份,保留m开始到结束的部份。
如图中黄色框内部分:

二、添加定时任务
系统--定时任务--添加--启用--名称:字母随机--执行文件不用动--附加参数:粘贴前面得到的链接--全选--保存
如图:


三、获取采集链接
上一步保存后,点击测试按键

下图则说明设置任务成功。
复制测试的url链接

四、完成手动采集
1.有服务器的小可爱们可以使用宝塔面板里的计划任务
首页--计划任务--任务类型:访问URL--执行周期:每小时--URL地址:测试的URL网址
如图:

2.没有主机、VPS的小可爱可以使用360的 网站监控。这个是免费的哦
3.另外没有主机、VPS的小甜美也可以这样做哦
找到MacCMS的模板上面的顶部模板文件,一般都是food.html。
在顶部模板里加上这段代码:
<script src="/inc/timming.php?t=0.123456789"></scrip>
模版--模板管理--Default_pc(模板文件目录,结合自己网站目录选择)--HTML--pudlic--foot.html--编辑

这样子,只有人访问网站。就会手动去采集每天更新的内容。已经采集入库了的资源会手动跳过maccms自动采集文章,不用考虑采集重复的问题。
检测方式:删除全部视频数据或明天更新的视频数据。然后自己访问一下网站主页或其他页面,再刷新页面是否有视频更新或则回到后台查看后台视频数据。
五、maccmsv10定时采集任务成功。V8步骤和V10相像maccms自动采集文章,但是v8却失败了。
执行文件:collect.php
执行参数:不是第一个问号开始截断的,而是从第一个等于 ?m= 开始截断
然而测试时 页面显示:Access Denied
这我也是蒙圈的,不知道如何处理。小可爱可以留言告知一下哦
跟多网路技术文章去