文章采集器(文章采集器的安全性对于不同平台的相关特点)

优采云 发布时间: 2022-03-13 03:05

  文章采集器(文章采集器的安全性对于不同平台的相关特点)

  文章采集说白了就是基于webserver的采集模块。通过要采集的站点后台数据库对数据库进行json数据,api命令来采集不同站点的数据。举个简单的例子来说明一下。就是在这个页面上面进行操作,把数据采集过来保存在数据库中。而用户在离开页面时,就把这个页面刷新即可。说到数据库很多人都会担心api命令语言是否安全?据不完全统计,目前api命令语言安全性比较高的有mysql,postgresql等等...言归正传,采集器类型的应用分为:阿里云采集器类、cloudbased采集器类、主流主机云采集器类、桌面级采集器。

  下面分别说一下三种采集器的相关特点。采集器的安全性对于不同采集器来说,不同平台的应用环境下安全性要求是不同的。例如阿里云采集器的平台需要配置满足阿里云对于数据的acl限制。目前市面上绝大多数采集器类型无法满足这个要求。所以一般运营商在给开发者提供开发板或者创建一个poc(前端验证码)时,不会给平台配置平台acl。

  那有的人就会问了,我是一个小站长,或者是个人站长,数据量不是特别大,多半也不是做自己站的小站,这样会不会会被平台封杀,会不会有采集风险?其实不然,其实大家是想多了。被封杀的只是后台采集的接口而已,也就是说你网站里的用户登录接口你又没有配置满足acl要求,那平台照样会采集数据,并不会对你产生安全影响。所以建议大家不要随便乱用api接口来采集数据。

  例如我现在要采集网易考拉app商品的数据,那我是不是可以把后台的接口配置为只采集网易考拉app的商品,因为我用的是阿里云,网易考拉平台不支持商品接口。但是此时肯定会有人说了,那这样会不会不安全啊,因为好多网易考拉的商品,并不是只对网易考拉平台开放啊,没有对其他电商平台开放啊?问题又来了,其实不是的,我这里有一个小技巧可以将网易考拉商品接口的非阿里云平台接口封杀,相当于网易考拉平台封杀我的api。

  具体怎么做呢?大家可以在下面的例子中可以看到。大家只需要为网易考拉平台配置相关的数据发布接口即可,然后接上上面的配置文件,我们的站点也相应的上了非阿里云平台的接口。此时你的数据接口就会进入阿里云云采集平台进行监测。我在这里会给大家讲到这个接口是在阿里云云采集平台的接口。也就是说你拿到的接口会带有阿里云云采集平台的script标识,我只是要把这个接口在你的站点进行监测,我监测的是哪个平台的接口,跟你的api接口是不是阿里云这没关系。

  这里要注意的是:大家可以针对阿里云云采集平台,设置scripthook。例如你是一个阿里云的小站长,你是一个小网。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线