解决方案:优采云采集器采集原理.pptx
优采云 发布时间: 2022-11-02 01:24解决方案:优采云采集器采集原理.pptx
优采云 让数据触手可及
视频教程PPT
教程重点
一、优采云采集的原理
2、优采云实现的功能
一、优采云采集的原理
客户程序
优采云客户端使用的开发语言为C#，运行于Windows系统。如果您使用的是 Mac 电脑，您可以先安装 Windows 虚拟机，然后再安装 优采云采集器。
在优采云客户端，采集和导出数据主要经过以下三个步骤： 1.配置任务；2、配置完成后，选择采集方法，本地采集或云端采集；3、采集完成，导出数据。
相应地，优采云有三大程序来完成这三大步骤：主程序负责任务配置和管理；任务云采集控制，云集成数据管理（导出、清理、发布）。数据导出程序负责数据导出，导出格式支持excel、csv、html、txt、导出到数据库等。支持一次导出数百万条数据。本地采集程序负责根据工作流通过正则表达式和Xpath原理快速处理采集网页数据。
一、优采云采集的原理
采集原理
优采云采集器的核心原理是：基于Firefox内核浏览器，通过模拟人们浏览网页的行为（如打开网页、点击网页中的按钮等）。 )，网页的内容是完全自动化的。提炼。
示例 URL：de/demo/simplemovies2.html
2、优采云实现的功能
优采云实现的功能
1.它是一个通用的网页数据采集器，能够处理采集98%的网页。
2.两种采集方法，本地采集和云端采集，满足不同的数据采集需求。
2、优采云实现的功能
1.它是一个通用的网页数据采集器，能够处理采集98%的网页。
优采云作为一般的网页数据采集器，并不针对某个网站某个行业进行采集数据，但是可以看到或几乎所有的文字信息在网页源代码可以是采集。
数据库
Excel
BI平台
2、优采云实现的功能
2.两种采集方法，本地采集和云端采集，满足不同的数据采集需求。
2、优采云实现的功能
本地采集（单机采集），即用自己的电脑执行采集。
可以取得很大的成就
解决方案:使用优采云采集器采集大众点评商家数据.docx
使用 优采云采集器采集 大众点评商户数据 图 4
第三步：商业信息采集
选择需要采集的字段信息，创建采集列表
编辑采集字段名称
1）如图，移动鼠标选择列表中的商家名称，右键，需要采集的内容会变成绿色
使用 优采云采集器采集 大众点评商户数据 图 5
注：点击右上角的“流程”按钮，显示可视化流程图。
2) 移动鼠标选中红色框中的任意文本域后，列表中所有适配的内容都会变为绿色。在右侧的操作提示框中，勾选提取的字段，删除不需要的字段，然后点击“选择”。全部”
使用 优采云采集器采集 大众点评商户数据 图 6
注意：当鼠标放在该字段上时，会出现一个删除标记，点击删除该字段。
使用 优采云采集器采集 大众点评商户数据 图 7
3) 点击“采集以下数据”
使用 优采云采集器采集 大众点评商户数据 图 8
4）修改采集字段名
使用 优采云采集器采集 大众点评商户数据 图 9
5）点击下方红框中的“保存并开始采集”
使用 优采云采集器采集 大众点评商户数据 图 10
6）根据采集的情况选择合适的采集方法，这里选择“启动本地采集”
使用 优采云采集器采集 大众点评商户数据 图 11
注意：本地采集占用当前计算机资源来执行采集，如果有采集时间要求或者当前计算机长时间不能执行采集，你可以使用云采集功能，云采集在网络中做采集，不需要当前电脑支持，可以关闭电脑，可以设置多个云节点分发任务，10个节点相当于10台电脑分发任务帮你采集，速度降低到原来的十分之一；采集获取的数据可以在云端保存三个月，随时可以导出。
第 4 步：数据采集 和导出
1）采集完成后会弹出提示，选择导出数据
使用 优采云采集器采集 大众点评商户数据 图 12
2）选择合适的导出方式，导出采集好的数据
使用 优采云采集器采集 大众点评商户数据 图 13
优采云——70万用户选择的网页数据采集器。
1、操作简单，任何人都可以使用：不需要技术背景，可以使用互联网采集。完成流程可视化，点击鼠标完成操作，2分钟快速上手。
2、功能强大，任意网站可选：点击、登录、翻页、身份验证码、瀑布流、Ajax脚本异步加载数据，都可以通过简单设置采集 .
3. 云采集，关机也是可以的。配置采集任务后，可以将其关闭，该任务可以在云端执行。庞大的云采集集群24*7不间断运行，无需担心IP阻塞和网络中断。
4、免费功能+增值服务，按需选择。免费版具备所有功能，可以满足用户基本的采集需求。同时设置一些增值服务（如私有云），满足高端付费企业用户的需求。
