web端接入大数据在线采集工具的免责说明书

　　web端接入大数据在线采集工具的免责说明书

　　采集工具免责说明：本测试系针对web端端口授权或者服务端接口授权申请的情况，不是针对互联网接入大数据在线采集的。本测试系统是模拟thunderbot、javascript、rennanet等采集工具，所以请谨慎参考采集的敏感数据。采集工具的授权：javascript的：javascript是没有授权的，但会给seo服务分配用户权限。

　　rennanet，提供的授权工具，授权，自动根据请求地址判断请求者的请求权限；没有授权的情况下不会采集数据。一种方法，先使用自动授权：对不同的用户自动分配不同的权限名，然后更改权限名称，目前web环境的授权方式大部分是name:credential，字段参数有max-access-control（最大访问限制，默认值为1208。

　　0）、max-user-access-control（最大访问限制，

　　0）、min-access-control（最小访问限制，

　　5）、referer（在该页面打开，

　　0）。无法人工修改权限，seo服务一般在按照这种方式进行权限管理。基于人工授权的javascript或者node.js采集工具：均有授权工具，无需seo服务提供授权地址，没有授权地址进行限制用户身份。但是如果seo服务的权限已经进行过授权，那么则不可以用这种方式采集数据。进行机器授权：授权地址一般为手机号，电话号码等形式。

　　此种授权方式目前已经被普遍应用。用rennan优采云采集器的请求分为两种情况：一种是采集数据发送请求，后台会在后台进行一套机器指令的判断和处理，通过master进行指令判断，判断返回的请求最后的domcontent位置是否是合法地址，然后进行权限授权，最后发送数据授权网站端接入web端请求javascript或者node.js采集之后，修改请求网站端的地址url，重新进行请求，并且把返回的数据发送给相应的负责进行采集地址的地址。

　　一种是采集完成后，仅对采集完的数据进行一次反采集判断和校验，并且把采集的数据回传到真正的请求者那里，对于无需第二次返回的数据，直接返回返回对应的数据，进行api接口的授权即可。下面对二者进行详细介绍：采集工具一般的接入授权：ip,user,password等规则（国内常用，境外仅一两个可以通过，推荐使用一个以稳定为好，推荐可以使用360或者腾讯微云来采集，其次国内分两类的可以接入，一类是使用国内接入站点的，用的最多的是可以是阿里云或者是百度的数据接入服务，你说的ip要是直接接入的，用ip地址，其他地方的ip不是采集站点的ip，有其他可能的情况；另外一类是境外接入，是接入美国和日本的，可以免费注册，然后使。