自动采集(爬虫里最大的坑莫过于chrome浏览器比较大)

　　自动采集(爬虫里最大的坑莫过于chrome浏览器比较大)

　　自动采集，采样方式和方法因网站而异，比如我们经常选择将采集的内容上传到txt方式，再由服务器加载到页面中，然后需要上传html时再从页面中匹配数据填写提交。至于多家兼容，个人只用过网易新闻内容采集，做的也是spa用了微信公众号接口，也没有遇到什么兼容问题。

　　爬虫里最大的坑莫过于chrome浏览器。lz快醒醒，迅雷浏览器已经停止支持chrome，仅支持安卓版本。能使用chrome的服务必须是傲游或者遨游等，而同一个厂商还有上百种杀毒，甚至整合各种插件，利用一个浏览器会将你不小心点到的数据全部带上去，搞不好你还找不到！所以，会爬虫先使用开源爬虫，再根据数据量来选择用那个爬虫，再看服务端环境与语言，一般不用兼容性的浏览器。

　　如果遇到一个爬虫访问到网站会触发各种浏览器的判断，请使用osx10.12或以上系统的windows环境，黑名单等。另外，可以使用trace来追踪爬虫的次数，但是请慎重，本文只讨论迅雷浏览器，因为他爬取数据的粒度比较大，有时还会触发多次抓取等。看了很多关于爬虫的博客或公众号文章，希望大家总结归纳一下，有必要提交一些自己做的分享，这样更加全面。附加链接：。

　　1、爬虫目前最大的坑：chrome浏览器很多网站用这个采集内容，所以系，京东等用浏览器是没有问题的，如果像我这样只是做一些技术方面的知识普及就没有必要使用浏览器，甚至在某宝下单也比让浏览器直接访问要快的多。另外，要先看看自己抓的是哪些数据，每家网站基本上都有抓取的api，比如我刚才提到的这些个网站，随便下载一下数据基本上都能获取到和自己网站同步的内容，唯一需要注意的就是上架的数据库里面要尽量多，毕竟这类工作无论做不做最后数据量都是不小的，单个网站只需要做简单的封装和集成即可。

　　2、如何爬取：结合爬虫的事情总归没有结束，我们找到目标后如何获取目标网站的所有数据就成了一个永恒的话题，那么又有人说了，有数据导出啊！现在各大导出网站已经逐渐灭绝了，大家只能自己用程序和爬虫去寻找线索和解决方案。我觉得，一切问题都可以利用webdriver来解决，分别用以下的方法：创建一个浏览器的c++类，然后拷贝到各个浏览器中，最后我们就能导出页面的html源码，再用一个chrome浏览器的爬虫去解析并获取数据。当然，这仅仅是解决有数据但是没办法直接获取的问题，还有更多其他有趣的玩法。

　　3、各种各样爬虫：可以按以下思路来抓取html源码（主要是各个浏览器的api）：本人采用的爬虫方式是利用selenium+timesource实现，而爬虫集成导出功能一直没有搞定，