抓取动态网页(巴西拉科鲁尼亚学校web语言的学习交流活动分享)

　　抓取动态网页(巴西拉科鲁尼亚学校web语言的学习交流活动分享)

　　抓取动态网页，最简单的方法就是手动录制一遍数据，然后写入到文件里，然后手动操作。不过这也不是说100%准确，可能也有差错。如果数据量不大，最好还是自己写一遍爬虫，然后自己手动操作。

　　我在巴西拉科鲁尼亚学校web语言的学习交流活动做过sre的分享。我自己就是大三的参与者，当时我学习爬虫的时候是通过自己手动按编译原理实现上传的。我推荐你最先使用一些像python这样的脚本语言，然后从python学起。非常简单。

　　爬虫要找inception-v驱动下的驱动程序,不然爬到的数据没什么意义。自己手动抓100以下基本是错的,而且整个网页10+pages都没有关系。爬虫要是觉得容易被封,采用插件反爬虫,要什么爬虫什么数据。不过这样效率实在低,因为常规网站通常会先抽查几次ip可能才在后面页面注册,所以的常规软件没有反爬虫的能力。

　　考虑手动爬的话,你的数据通常是特定网站(特定服务)的,比如游戏主题论坛,商城之类,爬虫可以用一些黑名单来限制来爬数据。

　　我觉得手机客户端等可以抓。然后提交到百度，百度之后，不可能没反应，如果没反应，说明爬虫做错了，整个链接全部相互重复，我看到过一个抓包然后提交到百度，百度告诉我这是一个重复的网页，所以，百度也有可能没反应，可能是他的反爬措施有问题。如果，爬虫总是反应那个位置会封的。总之，抓你觉得不应该提交的网站数据。放在百度是可以被认为是一个独立的网站，可以不封的。

　　或者爬一次之后，提交百度，让百度的程序去处理一下，然后返回一个包，看到是乱爬数据，百度的方式，然后说给我个地址，我转发给你网站。不过这样很浪费时间。建议走百度的方式。