自动采集推送(模拟浏览器向网站发送请求，然后返回网站的相关资料)

　　自动采集推送(模拟浏览器向网站发送请求，然后返回网站的相关资料)

　　自动采集推送

　　就是网页爬虫，模拟浏览器向网站发送请求，然后返回网站的相关资料给用户浏览。主要看协议规范，国内主要是urllib,urllib2,urlforwarder实现。国外的主要是scrapy。

　　蜘蛛呗，另外还有爬虫程序，抓取整站甚至全站数据。

　　抓取是指从网页源代码中获取信息，正常网站的网页源代码大部分是无序的，从一定程度上保证了网页的“客观性”。反爬虫是通过种种手段使网页的源代码形成非正常编码，隐藏真实信息，从而使网页的访问者难以查看网页的内容。一般来说反爬虫主要用到的是urllib等库，从而使内容难以直接查看，但是通过转换headers也可以提取内容。关于这两种方式的特点和处理方法，你可以参考这个人的博客。知乎爬虫。

　　蜘蛛。一般通过http请求来发送请求，那么处理好请求返回的json形式数据（返回的内容不一定是json，可能是一个javascript对象或者一个jsonobject对象，后者更常见）可以减少服务器对外提供的数据量。除此之外，他们还可以通过代理或者爬虫程序等方式，来实现浏览器首页跳转。

　　个人觉得这种工具被网页编辑器或者浏览器自带的文本编辑器还是比较好用的，反爬虫等相对比较小，我个人写了一套可定制的爬虫，去了解有哪些浏览器自带的浏览器反爬虫，毕竟现在浏览器对爬虫推出的浏览器页面提供了特殊的反爬虫策略。个人自己收集了一些常见浏览器的反爬虫策略，都是本地root的，有需要的可以私信我那么我们就这些知识做一些分享吧，爬虫，网页爬虫(有服务器上)或者爬虫(没有服务器上)，反爬虫，有那么一类东西：脚本语言。

　　我们写脚本语言有两种方式，一种是写服务器，一种是写浏览器里。服务器就是在浏览器里进行以上操作。现在是一个网站去抓取。好处是脚本使我们能更直观的读取到访问网站的数据，那么坏处也显而易见，就是脚本没有过滤，所以一旦这个网站里面涉及的数据都写到脚本里，就会很多，所以个人觉得还是没必要。