自动采集网站内容(自动采集网站内容，代码数据，爬虫抓取网站爬虫)

　　自动采集网站内容(自动采集网站内容，代码数据，爬虫抓取网站爬虫)

　　自动采集网站内容，代码数据，爬虫抓取网站爬虫，原始的网页抓取公司不提供网站爬虫的话，就用网站链接自动*敏*感*词*，其他相关知识点，将html代码自动转换成xml或json，自动抓取网站抓取比较麻烦，你可以买个云池板子，和一台云服务器，

　　你是要抓包抓服务器页面，还是抓浏览器页面？chrome都有开发者工具就是抓http/https这些的。可以抓浏览器的啊，用得比较多的ie9就能抓，可以安装插件或者浏览器自带，spider-google-f12，

　　这是个有趣的问题如果你说有不用ua就可以抓取比如我用浏览器就可以抓那可以看看这个网站-x-inkers.html（墙外）如果你说抓取可以看看这个网站-zhuan-nian-ju/

　　多半不同意！登录才会抓取。话说这问题无论知乎还是李世石，都找不到任何有价值的回答，

　　希望这次能看到这个回答（不是我们）图上是我在折腾proxyagent.js.因为懒得去搭建这个脚本，才会去抓ua来自行获取。

　　proxyagent或googlecloudfront来抓

　　抓包和抓取是两回事

　　又不是你会http请求，总得有点你的网络基础知识吧。