如何采集网站上多关键词的数据
优采云 发布时间: 2020-08-25 11:42点此了解关于怎么正确地输入网址。
2、新建流程图模式采集任务
您可以在软件上直接新建采集任务,也可以通过导出规则来创建任务。
点此了解怎样导出和导入采集规则。
步骤二:配置采集规则
1、设置多个关键字循环任务
在流程图模式输入网址新建任务以后,我们点击搜索框,然后在左上角出现的操作提示框内输入要采集的文字。
点此了解输入文字组件的更多内容。
由于我们须要输入多个关键词的数据,因此我们选择点击操作框上的批量输入文本按键。
接着选择批量输入单个文本。
然后在弹出的文本列表中输入我们须要设置的文本,这里我们输入“设置”、“采集”、“数据”这几个关键词。
点击“确定”按钮后,软件会手动生成一个循环关键词的列表。
然后我们点击页面上的搜索按键,在操作框内选择“点击一次该元素”按钮,跳转到搜索结果页。
2、设置提取数组数据
输入多个关键字循环设置好以后,我们设置须要提取的数组数据,点击网页上的数组,在左上角的操作提示框内选择提取全部元素。接着软件会手动辨识到分页,用户根据软件提示去设置分页。
然后我们可以在这个基础上对采集字段进行设置,用户可以根据自己的需求去设置。
更多详情内容,请参考以下教程:
如何对采集字段进行配置
3、设置深入采集
如果我们须要采集详情页的数据,可以使用深入采集功能。
更多详情内容,请参考以下教程:
如何实现深入采集
4、设置详情页数据
详情页的采集和单页类型的采集方式是一样的。我们点击页面上须要采集的数据,然后在操作提示框内点击“提取该元素中的数据”按钮,之后数据设置可参考列表页的设置。
更多详情内容,请参考以下教程:
如何采集单页类型的网页
5、完整组件图
步骤三:设置并启动采集任务
1、启动采集任务
点击“开始采集”按钮,可在弹出的启动设置页面中进行一些中级设置,包括“定时启动、防屏蔽、自动导入、文件下载、加速引擎、数据去重、开发者设置”功能,本次操作没有用到以上功能,直接点击启动按键开始采集。
点此深入了解哪些是定时启动。
点此深入了解哪些是手动导入。
点此深入了解怎样下载图片。
【温馨提示】免费版本可以使用非周期性定时采集功能,下载图片功能是免费的;专业版及以上用户可使用定时启动功能;旗舰版用户可以使用手动导入功能及加速引擎功能。
2、运行任务提取数据
任务启动以后便开始手动采集数据,我们从界面上可以直观的看见程序运行过程和采集结果,采集结束以后会有提醒。
步骤四:导出并查看数据