网页数据抓取([讲堂]前端使用JavaScript耍花样)
优采云 发布时间: 2022-04-12 14:13网页数据抓取([讲堂]前端使用JavaScript耍花样)
来源,忘记复制地址了:cry:
[大小=中等]
第一个技巧:判断访问是否来自浏览器,如果不是,直接跳转到网站的一些与数据无关的页面。
这一招没过多久,人们开始模仿谷歌、百度等浏览器或爬虫。这个技巧已经过时了。
第二招:设置登录,需要登录才能看到有用的数据。但是很快就有人模拟了爬之前登录的过程。诡计失败了。
第三招:设置验证码,这个招对用户体验不好。为了弥补,设置验证码访问N次以上,然后输入验证码。
没过多久,人们就开始寻找代理 IP、设置 IP 数组并动态循环。诡计失败了。
第四招:这一招和第二招的效果基本一样,监控一段时间内某个IP的访问量,
如果访问次数超过N,会跳转到错误页面或者提醒访问太频繁。随着第二步被破,也失败了。
第五招:使用cookies记录用户的访问信息,在用户访问过于频繁时给出验证码。
但最后我想出了一个办法,就是用按钮精灵控制360定时删除cookies。感觉这招不安全,再想其他招。
第六招:将数据中的重要信息加密或转换成图片,然后解析加密数据和他人的图片数据。还是不够安全。
第七招:前端用JavaScript玩花样[/size]