优采云爬虫软件教程（二）: 优采云采集原理

　　优采云采集原则

　　优采云 Web数据采集客户端使用的开发语言是C#，可在Windows上运行. 客户端主程序负责任务配置和管理，任务云采集控制以及云集成数据管理（导出，清理，发布）. 数据导出程序负责将数据导出到Excel，SQL，TXT，MYSQL等. 它支持一次导出数百万个数据. 本地采集程序负责根据工作流在网页上打开，抓取和采集数据，并通过正则表达式和Xpath原理快速获取网页数据.

　　整个采集过程基于Firefox内核浏览器，该浏览器通过模拟人类思维操作（例如打开网页并单击网页上的按钮）自动提取网页内容. 该系统无需专业知识即可完全可视化过程操作，并轻松实现数据采集. 通过在网页源代码中准确定位每个数据的XPath路径，优采云可以准确地批量采集用户所需的数据.

　　由彩云实现的功能

　　优采云 Web数据采集系统基于完全自主开发的分布式云计算平台. 它可以在短时间内轻松地从各种网站或网页中获取大量标准化数据，从而满足任何需要. 从网页中获取信息的客户实现了自动数据采集，编辑和标准化，并且摆脱了对数据的依赖. 手动搜索和数据采集，从而降低了获取信息的成本并提高了效率. 它涉及许多行业和领域，例如政府，大学，企业，银行，电子商务，科研，汽车，房地产，媒体等.

　　图1: 采集图

　　作为通用Web数据采集器，优采云不会在某个网站上采集来自某个行业的数据，但是几乎可以采集在网页或网页源代码中可以看到的所有文本信息. ，优采云可以采集市场上98％的网页.

　　使用本地采集（单机采集），除了对大多数网页数据进行爬网外，还可以在采集过程中执行初步的数据清理. 如果您使用程序附带的正则工具，请使用正则表达式格式化数据. 可以在数据源处实现各种操作，例如删除空格和过滤日期. 其次，优采云还提供了分支判断功能，可以对网页中的信息是否正确做出逻辑判断，从而实现用户的筛选要求.

　　除了本地采集（单机采集）的所有功能之外，云采集还可以实现定时采集，实时监控，自动重复数据删除和存储，增量采集，自动识别验证码以及多次导出API接口数据和修改参数. 同时，使用云多节点并发运行，采集速度将比本地采集（单机采集）快得多，并且在任务启动时自动切换多个IP也可以避免IP阻塞. 网站并实现相对完整数据的采集.

　　图2: 定时云采集