使用cloud collector.docx时必须知道的关键字

优采云 发布时间: 2020-08-07 16:18

  文档简介:

  使用优采云采集器时必须知道的关键字

  1. 点数

  积分是一种支付Yo​​ucai Cloud增值服务的方式. 优采云采集器采集数据后,将其用于导出数据. 免费版需要点才能导出数据,而专业版及更高版本没有限制. 积分可以单独购买,也可以通过登录,改善个人信息和绑定社交帐户等多种方式获得.

  注意: 使用优采云增值服务时,不同的帐户类型将具有不同的计费策略. 具体的计费策略和差异将在版本说明中详细说明.

  2,规则

  规则是一个程序规则,优采云规则配置程序记录了手动操作过程,并显示在优采云客户端中,可以导入和导出. 配置规则后,优采云可以根据配置的规则自动采集数据,而无需手动采集.

  3,云加速

  优采云系统采用分布式集群部署. 每个集群由大量的云节点组成. 单个节点的采集容量等于PC的采集容量. 通过优采云后端的版本资源分配策略,可以将分配的云节点资源数量加速数倍,而版本较高的帐户将具有更高的加速倍数.

  4,首先是云

  如果多个用户共享一个云群集的资源,则群集的大小有上限. 如果同时提交太多云集群任务,导致资源拥塞,则根据不同的用户帐号版本,优采云系统将进行默认排序. 更高版本和更高优先级将具有获得资源分配权益的优先级. 未分配资源的任务将排队.

  5,URL

  URL是指普通网站的URL.

  单机采集

  单机采集意味着它不占用云群集的资源,并且只能通过优采云客户端所在的PC进行工作. 在工作期间,计算机和软件必须处于运行状态,并且电源或网络中断会导致数据采集任务中断.

  云采集

  云采集是指使用优采云提供的服务器群集进行工作. 集群处于7 * 24小时工作状态. 客户端完成任务设置并将其提交给云服务以执行云采集后,可以关闭该软件,关闭计算机以进行脱机采集,这确实是无人值守的. 另外,云采集可以通过同时部署云服务器群集和多个节点来提高采集效率,并且可以有效地避免各种网站的IP阻塞策略.

  定时采集

  定时采集是指用户在设置好彩云的采集规则后,可以将任务设置为定期在云采集集群上运行,并且该任务将按照定期设置的时间重复运行.

  9. 网址循环

  URL周期是指设置“彩彩云”周期以采集一批URL中的数据.

  10,自动导出

  自动导出意味着用户可以通过某些设置实现自动数据导出,并支持自动导出到数据库. 自动导出到数据库仅支持云采集,这可以在采集和导出时实现. 当前已导出尚未导出的数据.

  饼干

  1)cookie的诞生: 当用户打开浏览器发出页面请求时,Web服务器将简单地响应,然后关闭与用户的连接. 因此,无论用户是否是第一次打开同一网页,每次用户启动向Web服务器打开网页的请求时,Web服务器都会将请求视为第一次. 然后,可以想象出此类缺陷,例如,每次打开登录页面时都需要输入用户名和密码. 为了弥补这一缺陷,Cookie应运而生.

  2)Cookie概述: Cookie是服务器临时存储在您的计算机上的一条信息,以便服务器可以识别您的计算机. 当您浏览网站时,Web服务器将首先发送少量信息并将其放在您的计算机上. Cookie将帮助您记录文本(例如用户名,密码)以及您在网站上键入的其他操作. 下次打开同一网站时. Web服务器将首先检查上次留下的cookie信息,如果有的话,它将根据cookie内容判断用户并向您发送特定的Web内容.

  3)Cookie登录: 优采云内置了cookie记录功能,登录后可以通过获取cookie来记住登录状态,以达到采集数据的目的.

  12,XPATH

  XPATH: 是一种路径查询语言,简单来说,它使用路径表达式来查找所需的数据位置. XPATH专门用于沿XML路径查找数据. 优采云采集器具有一套用于HTML的XPATH引擎,这使得可以直接使用XPATH在网页中查找和定位数据.

  13,HTML

  HTML概念HTML: 超文本标记语言,是一种用于描述网页的语言. 主要用于控制数据的显示和外观. HTML文档也称为网页.

  HTML结构: 完整的HTML文件至少包括标记,标记,标记和标记,并且这些标记成对出现. 开始标签是结束标签,内容被添加到两个标签之间. 可以通过这些标记中的相关属性来设置页面的背景颜色和背景图像.

  14,固定元素列表和非固定元素列表

  固定元素列表是一种精确的定位方法,适用于网页上要采集的元素数量为固定数量,xpath精确定位元素的情况. 如图所示: 3个xpath可以准确定位3个a标签.

  // DIV [*** @ class =“视频列表”] / DIV [1] / A [1] / H3 [1]

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线