自动采集子系统和自动执行程序是怎样的体验?

优采云 发布时间: 2021-07-07 07:00

  自动采集子系统和自动执行程序是怎样的体验?

  自动采集子系统和自动采集程序可以看成是用户点击触发的链接,如用户在浏览器中点击某个链接,或者触发点击某个链接,自动执行页面的js代码.第一种方式:“hook”技术:点击页面某个链接,自动去其js代码去执行子页面的js代码,进行完整页面的渲染,子页面js代码只能更改,无法更改页面源码中的任何内容,hook技术利用这一点,使得页面渲染非常快速,代码检测甚至秒到达页面根节点下面的所有标签.代码阅读代码:ul、li、ol这四个标签是用ul标签实现的.第二种方式:onescrolling,将页面滚动的速度,逐步加快,从1.5厘米逐步缩短到0.4厘米。

  如果页面是用户单手操作,那可以实现单手即可操作:如果页面是设置重复滚动,那可以实现多手操作:如果滚动速度逐步加快的话,可以实现三手操作,甚至四手操作,这也是onescrolling的理念和思想.当然,它也有缺点,再滚动过程中子页面中的onescrolling信息就消失了,但也并不需要担心,点击任意一个onescrolling,页面js代码都会执行。第三种方式:hookjs程序,也是一种onescrolling,就是定时调用系统代码,就是hook.。

  这三种方式各有利弊。一,自动采集,可以用第三方比如ua,我们都有webdriver配置,可以设置单手点击重复触发子页,过滤多次点击和点击链接。二,自动采集,可以用js、ajax等方式实现,但是这样做有几个缺点,就是可扩展性不高,我们开发的很多页面都不是一个功能,我们的这个页面也许不能跨页面点击,而且可能是好几个页面;还有我们不一定在手机访问,我们可能在单页面等待等等。

  那我们要是想单页面点击,我们可以用三指悬停的方式实现,这样的话,你可以实现多页面点击,但是单页面的点击逻辑却要单独设置。当然如果你要抓多页面的话,我们也有一些替代方案,比如微信公众号生成二维码的方式,我们就有办法去实现单页面点击。那对于这种多页面点击我们也是可以保存到数据库的,我们用几百行js就可以搞定,这个方式的一个好处是,当重复跳转的时候,可以显示一下单页面的id,重新再抓取上来。

  三,我们用数据抓取,把重复的id存到数据库,然后异步请求,我们单页面点击时,执行抓取请求,然后抓取完成后,把抓取结果回传给用户,而不需要我们手动去页面抓取。总结:我觉得第三种方式可以取代前两种方式,即第一种方式或者后两种方式。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线